apache / apache/iceberg-python
Support multi-argument transforms
- 主要语言
- Python
- 星标
- 1.1k
- 派生
- 581
- 平均合并
- 1 天 17 小时
- 30 天内合并 PR
- 78
描述
### Feature Request / Improvement
Part of #1818.
The V3 spec generalizes partition and sort fields to multiple source columns via `source-ids`. PyIceberg currently raises when `source-ids` has more than one element, so loading such tables fails — but the spec requires v3 readers to read tables with unknown transforms, ignoring them (null partition values, always-true projection in scan planning).
Scope: model `source-ids`, serialize per spec (`source-id` for single-argument transforms, `source-ids` otherwise), and treat multi-argument transforms as unknown in scan planning. Evaluating multi-argument transforms on write is out of scope until the spec defines concrete ones.
贡献指南
这个仓库没有索引到贡献指南
调研方向
首先跟踪 partition-field 模型及其序列化,然后继续检查 scan-planning 对 unknown transforms 的处理。将当前带单个参数的 source-id 行为与 V3 规范进行比较。完成的标准是:多参数 source-ids 能够正确加载和序列化,在 scan-planning 期间被视为未知,并且 write-time evaluation 仍不在范围内。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- data-engineering
- Issue 类型
- 功能
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 冷清
- 描述清晰度
- 基本清楚
- 新手友好度
- 58/100