stackabletech / stackabletech/hbase-operator

Enable TaskMonitor warnings of slow tasks by default

Offen
#278 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

type/feature-improvement
Vorherrschende Sprache
Rust
Sterne
21
Forks
6
Ø Merge
1 T. 19 Std.
Gemergte PRs (30 T.)
9

Beschreibung

HBase has a TaskMonitor that can warn on any tasks that take too long.
https://github.com/apache/hbase/blob/47996d6c2128815e45bb8bdb6e3a470bfddd6106/hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java#L49

By default it does not warn as the setting hbase.taskmonitor.rpc.warn.time defaults to 0 which disables the check. But it's definitely useful to have a warning like this.

We saw tasks stuck for a week at a customer and this went unnoticed. As I'm not 100% sure on which tasks (i.e. also Procedures?) are monitored I suggest a rather high threshold.
Maybe 1 hour? (Even though most tasks should finish within seconds)

This is a warning that we then - later - should extract from the logs to convert into an alert and/or at least have a dashboard (in Grafana or Opensearch Dashboard) to show these.
The log message will start with: "Task may be stuck"

Also note that older versions have a bug that can wrong warnings: https://issues.apache.org/jira/browse/HBASE-22935

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne mit der verknüpften hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java und untersuche, wie hbase.taskmonitor.rpc.warn.time die Prüfung deaktiviert. Bestätige, welche Tasks überwacht werden, und lege den Standardgrenzwert fest, etwa eine Stunde. Als abgeschlossen gilt die Aufgabe, wenn Warnungen zu langsamen Tasks standardmäßig aktiviert sind, ohne das ältere Verhalten mit Fehlwarnungen, das in HBASE-22935 beschrieben wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
databases
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.