apache / apache/datasketches-java

Compress TDigest can generate centroid with NaN mean

Offen
#702 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Java
Sterne
958
Forks
226
Ø Merge
3 T. 9 Std.
Gemergte PRs (30 T.)
8

Beschreibung

See this thread https://github.com/apache/datasketches-rust/pull/23#discussion_r2622754228

Also we don't verify that the centroid mean is not NaN and the weight is not zero (should be positive even?) on deserialization. (Generally we can't assume the data to be deserialized is safe.)

I think the rank/quantile method can return NaN if the calculation result in that. But the stored centroid should not be NaN or else stable sort is unsound?

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit der verlinkten Pull-Request-Diskussion und verfolge die in diesem Issue erwähnten Pfade für die TDigest-Komprimierung und Deserialisierung. Überprüfe, wie die Mittelwerte und Gewichte der Zentroiden validiert werden, und bestätige, dass gespeicherte Zentroiden keine NaN-Mittelwerte oder nicht positiven Gewichte enthalten können, während das Verhalten von rank/quantile separat behandelt bleibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
52/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.