stackabletech / stackabletech/hbase-operator

Enable TaskMonitor warnings of slow tasks by default

Ouverte
#278 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

type/feature-improvement
Langage dominant
Rust
Étoiles
21
Forks
6
Merge moyen
1 j 19 h
PR mergées (30 j)
9

Description

HBase has a TaskMonitor that can warn on any tasks that take too long.
https://github.com/apache/hbase/blob/47996d6c2128815e45bb8bdb6e3a470bfddd6106/hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java#L49

By default it does not warn as the setting hbase.taskmonitor.rpc.warn.time defaults to 0 which disables the check. But it's definitely useful to have a warning like this.

We saw tasks stuck for a week at a customer and this went unnoticed. As I'm not 100% sure on which tasks (i.e. also Procedures?) are monitored I suggest a rather high threshold.
Maybe 1 hour? (Even though most tasks should finish within seconds)

This is a warning that we then - later - should extract from the logs to convert into an alert and/or at least have a dashboard (in Grafana or Opensearch Dashboard) to show these.
The log message will start with: "Task may be stuck"

Also note that older versions have a bug that can wrong warnings: https://issues.apache.org/jira/browse/HBASE-22935

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par le fichier lié hbase-server/src/main/java/org/apache/hadoop/hbase/monitoring/TaskMonitor.java et examinez comment hbase.taskmonitor.rpc.warn.time désactive la vérification. Confirmez quelles tâches sont surveillées et fixez le seuil par défaut, par exemple une heure. Le travail est considéré comme terminé lorsque les avertissements concernant les tâches lentes sont activés par défaut, sans l’ancien comportement générant de fausses alertes décrit dans HBASE-22935.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
databases
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.