stackabletech / stackabletech/hbase-operator

Enable TaskMonitor warnings of slow tasks by default

オープン
#278 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

type/feature-improvement
主要言語
Rust
スター
21
フォーク
6
平均マージ
1日 19時間
マージ済み PR(30日)
9

説明

HBase has a TaskMonitor that can warn on any tasks that take too long.
https://github.com/apache/hbase/blob/47996d6c2128815e45bb8bdb6e3a470bfddd6106/hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java#L49

By default it does not warn as the setting hbase.taskmonitor.rpc.warn.time defaults to 0 which disables the check. But it's definitely useful to have a warning like this.

We saw tasks stuck for a week at a customer and this went unnoticed. As I'm not 100% sure on which tasks (i.e. also Procedures?) are monitored I suggest a rather high threshold.
Maybe 1 hour? (Even though most tasks should finish within seconds)

This is a warning that we then - later - should extract from the logs to convert into an alert and/or at least have a dashboard (in Grafana or Opensearch Dashboard) to show these.
The log message will start with: "Task may be stuck"

Also note that older versions have a bug that can wrong warnings: https://issues.apache.org/jira/browse/HBASE-22935

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

リンクされている hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java から始め、hbase.taskmonitor.rpc.warn.time がチェックを無効にする仕組みを確認してください。どのタスクが監視されるのかを確認し、デフォルトのしきい値を、たとえば 1 時間に決定してください。完了とは、HBASE-22935 で説明されている従来の誤警告の挙動なしに、低速タスクの警告がデフォルトで有効になっていることを意味します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
databases
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。