apache / apache/datasketches-java

Compress TDigest can generate centroid with NaN mean

已关闭
#702 4 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Java
星标
958
派生
226
平均合并
3 天 9 小时
30 天内合并 PR
8

描述

See this thread https://github.com/apache/datasketches-rust/pull/23#discussion_r2622754228

Also we don't verify that the centroid mean is not NaN and the weight is not zero (should be positive even?) on deserialization. (Generally we can't assume the data to be deserialized is safe.)

I think the rank/quantile method can return NaN if the calculation result in that. But the stored centroid should not be NaN or else stable sort is unsound?

贡献指南

这个仓库没有索引到贡献指南

调研方向

从链接的 pull request 讨论开始,跟踪 issue 中提到的 TDigest 压缩和反序列化路径。验证质心均值和权重的校验方式,并确认存储的质心不能包含 NaN 均值或非正权重,同时 rank/quantile 行为仍单独处理。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data
Issue 类型
缺陷
难度
3/5
预计耗时
1-2 天
活跃度
活跃
描述清晰度
基本清楚
新手友好度
52/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。