apache / apache/datasketches-java
Compress TDigest can generate centroid with NaN mean
- Vorherrschende Sprache
- Java
- Sterne
- 958
- Forks
- 226
- Ø Merge
- 3 T. 9 Std.
- Gemergte PRs (30 T.)
- 8
Beschreibung
See this thread https://github.com/apache/datasketches-rust/pull/23#discussion_r2622754228
Also we don't verify that the centroid mean is not NaN and the weight is not zero (should be positive even?) on deserialization. (Generally we can't assume the data to be deserialized is safe.)
I think the rank/quantile method can return NaN if the calculation result in that. But the stored centroid should not be NaN or else stable sort is unsound?
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit der verlinkten Pull-Request-Diskussion und verfolge die in diesem Issue erwähnten Pfade für die TDigest-Komprimierung und Deserialisierung. Überprüfe, wie die Mittelwerte und Gewichte der Zentroiden validiert werden, und bestätige, dass gespeicherte Zentroiden keine NaN-Mittelwerte oder nicht positiven Gewichte enthalten können, während das Verhalten von rank/quantile separat behandelt bleibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 52/100