apache / apache/iceberg-python

Support data files compaction

未关闭
#1,092 13 条评论 33 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
1.1k
派生
581
平均合并
1 天 17 小时
30 天内合并 PR
78

描述

Introduce an API to compact data files. The first version of the API will do the following:
- take a predicate expression as input parameter to find data files matching the filter that will be re-written
- group data files by partitions and rewrite them using the same bin-packing constraints of the writer

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先阅读 PyIceberg 现有的 data-file 和 writer API,了解 predicate filtering、分区分组和 bin-packing 约束是如何表示的。在决定 compaction API 应该放在哪里之前,先跟踪 writer 路径和相关测试。完成的标准是:调用方可以提供 predicate,匹配的文件按分区分组,并且重写后的文件使用 writer 现有的 bin-packing 约束。

由索引模型根据 Issue 内容生成。

评估

技术栈
python
领域
data-engineering, databases
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
冷清
描述清晰度
基本清楚
新手友好度
48/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。