apache / apache/parquet-java

Could we provide a potentially larger InternalParquetRecordWriter.getDataSize

未关闭
#3,032 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Java
星标
3.1k
派生
1.6k
平均合并
3 天 12 小时
30 天内合并 PR
33

描述

The following code currently has getDataSize as an estimated value. The Iceberg rolling file write operation relies on this method, which may result in writing files that are much smaller than expected.
```JAVA
/**
* @return the total size of data written to the file and buffered in memory
*/
public long getDataSize() {
return lastRowGroupEndPos + columnStore.getBufferedSize();
}
```

Could we provide a potentially larger getDataSize? I can't think of any downsides at the moment.

### Component(s)

_No response_

贡献指南

这个仓库没有索引到贡献指南

调研方向

定位 InternalParquetRecordWriter.getDataSize,并追踪 Iceberg 的滚动文件写入操作如何使用其值。将报告的大小与实际写入和缓冲的数据进行比较,然后定义并测试一个更大且安全的大小估算值,以防止文件大小意外过小。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data-engineering
Issue 类型
缺陷
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。