Could we provide a potentially larger InternalParquetRecordWriter.getDataSize
未关闭
- 主要语言
- Java
- 星标
- 3.1k
- 派生
- 1.6k
- 平均合并
- 3 天 12 小时
- 30 天内合并 PR
- 33
描述
The following code currently has getDataSize as an estimated value. The Iceberg rolling file write operation relies on this method, which may result in writing files that are much smaller than expected.
```JAVA
/**
* @return the total size of data written to the file and buffered in memory
*/
public long getDataSize() {
return lastRowGroupEndPos + columnStore.getBufferedSize();
}
```
Could we provide a potentially larger getDataSize? I can't think of any downsides at the moment.
### Component(s)
_No response_
贡献指南
这个仓库没有索引到贡献指南
调研方向
定位 InternalParquetRecordWriter.getDataSize,并追踪 Iceberg 的滚动文件写入操作如何使用其值。将报告的大小与实际写入和缓冲的数据进行比较,然后定义并测试一个更大且安全的大小估算值,以防止文件大小意外过小。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- java
- 领域
- data-engineering
- Issue 类型
- 缺陷
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 35/100