apache / apache/datasketches-java

Non-deterministic result when merging an empty KllFloatsSketch with two others

未關閉
#693 13 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Java
星號
958
分支
226
平均合併
3 天 40 分鐘
30 天內合併 PR
13

描述

Merging an empty KllFloatsSketch with two KllFloatsSketch, with 1 and 200 "items" respectively, does not always produce the same result

I would have expected the following test scenario to pass:

```
@Test
public void test() throws NoSuchAlgorithmException {

KllFloatsSketch t1 = KllFloatsSketch.newHeapInstance();
t1.update(1f);
byte[] tb1 = t1.toByteArray();

KllFloatsSketch t2 = KllFloatsSketch.newHeapInstance();
for(int i=0; i<200; i++) {
t2.update(1f*i);
}
byte[] tb2 = t2.toByteArray();

HashSet digests = new HashSet<>();
for(int i=0; i<30; i++) {
KllFloatsSketch start = KllFloatsSketch.newHeapInstance();

byte[] h1 = Arrays.copyOf(tb1, tb1.length);
byte[] h2 = Arrays.copyOf(tb2, tb2.length);

KllFloatsSketch kll1 = KllFloatsSketch.heapify(MemorySegment.ofArray(h1));
start.merge(kll1);

KllFloatsSketch kll2 = KllFloatsSketch.heapify(MemorySegment.ofArray(h2));
start.merge(kll2);

MessageDigest md5 = MessageDigest.getInstance("MD5");

BigInteger digest = new BigInteger(md5.digest(start.toByteArray()));
digests.add(digest);
System.out.println(digest);
}
assertEquals(1, digests.size());
}
```

The digests are:
```
115710133967357289505160160937439690295
-100233422360292323003164315945381734567
-100233422360292323003164315945381734567
-100233422360292323003164315945381734567
115710133967357289505160160937439690295
115710133967357289505160160937439690295
...
```

And therefore the test throws:
```
java.lang.AssertionError:
Expected :2
Actual :1
```

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

首先重現圍繞 KllFloatsSketch.newHeapInstance()、heapify()、merge() 和 toByteArray() 提供的測試。比較合併包含 1 個和 200 個項目的 sketch 時重複序列化的結果,然後追蹤合併和序列化行為。重複測試產生一個確定性的 digest 並且持續通過,即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
java
領域
data
Issue 類型
缺陷
難度
3/5
預估耗時
1-2 天
活躍度
停滯
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。