stackabletech / stackabletech/hbase-operator
Enable TaskMonitor warnings of slow tasks by default
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Rust
- Sterne
- 21
- Forks
- 6
- Ø Merge
- 1 T. 19 Std.
- Gemergte PRs (30 T.)
- 9
Beschreibung
HBase has a TaskMonitor that can warn on any tasks that take too long.
https://github.com/apache/hbase/blob/47996d6c2128815e45bb8bdb6e3a470bfddd6106/hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java#L49
By default it does not warn as the setting hbase.taskmonitor.rpc.warn.time defaults to 0 which disables the check. But it's definitely useful to have a warning like this.
We saw tasks stuck for a week at a customer and this went unnoticed. As I'm not 100% sure on which tasks (i.e. also Procedures?) are monitored I suggest a rather high threshold.
Maybe 1 hour? (Even though most tasks should finish within seconds)
This is a warning that we then - later - should extract from the logs to convert into an alert and/or at least have a dashboard (in Grafana or Opensearch Dashboard) to show these.
The log message will start with: "Task may be stuck"
Also note that older versions have a bug that can wrong warnings: https://issues.apache.org/jira/browse/HBASE-22935
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit der verknüpften hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java und untersuche, wie hbase.taskmonitor.rpc.warn.time die Prüfung deaktiviert. Bestätige, welche Tasks überwacht werden, und lege den Standardgrenzwert fest, etwa eine Stunde. Als abgeschlossen gilt die Aufgabe, wenn Warnungen zu langsamen Tasks standardmäßig aktiviert sind, ohne das ältere Verhalten mit Fehlwarnungen, das in HBASE-22935 beschrieben wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- databases
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 25/100