prometheus / prometheus/client_java

Improve Summary quantiles with DataSketches

Abierto
#2,084 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Lenguaje dominante
Java
Estrellas
2.3k
Forks
833
Merge medio
2 d 16 h
PR fusionados (30 d)
86

Descripción

Summary.observe() can become expensive when quantiles are recorded at high frequency. This can make the current quantile path visible on hot request paths.

We saw this in ZooKeeper's Prometheus metrics path. In an internal ZooKeeper 3.9.2 fork, a version inspired by ZooKeeper's unmerged DataSketches Summary PR improved peak throughput by about 2x.

DataSketches KLL may be a useful way to improve this in client_java. The goal would be to reduce the cost of the observe path while keeping the external Summary behavior as close as practical.

This would not have to replace the current CKMS-based Summary immediately. DataSketches KLL has a different accuracy model, memory cost, and quantile visibility behavior, so an explicit opt-in path may be a better first step.

Initial questions:

  • Does using DataSketches for Summary quantiles sound like a direction worth exploring?
  • If so, would a separate opt-in artifact be a reasonable way to introduce it?
  • What behavior details and benchmark data would be most useful before going further?

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza en Summary.observe() y sigue el flujo actual de cuantiles basado en CKMS en client_java. Revisa el ZooKeeper DataSketches Summary PR y compara un enfoque basado en KLL usando datos de benchmark, incluida la precisión, el uso de memoria y la visibilidad de los cuantiles. Se considerará terminado cuando haya una dirección documentada y evidencias sobre si merece la pena una implementación opt-in.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
java
Área
observability-sre
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
32/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.