apache / apache/iceberg-python
Support multi-argument transforms
- 主要語言
- Python
- 星號
- 1.1k
- 分支
- 581
- 平均合併
- 1 天 13 小時
- 30 天內合併 PR
- 76
描述
### Feature Request / Improvement
Part of #1818.
The V3 spec generalizes partition and sort fields to multiple source columns via `source-ids`. PyIceberg currently raises when `source-ids` has more than one element, so loading such tables fails — but the spec requires v3 readers to read tables with unknown transforms, ignoring them (null partition values, always-true projection in scan planning).
Scope: model `source-ids`, serialize per spec (`source-id` for single-argument transforms, `source-ids` otherwise), and treat multi-argument transforms as unknown in scan planning. Evaluating multi-argument transforms on write is out of scope until the spec defines concrete ones.
貢獻指南
這個儲存庫沒有索引到貢獻指南
研究方向
首先追蹤 partition-field 模型及其序列化,接著檢查 scan-planning 對 unknown transforms 的處理。將目前帶有單一參數的 source-id 行為與 V3 規範進行比較。完成的標準是:多參數 source-ids 能正確載入和序列化,在 scan-planning 期間被視為未知,且 write-time evaluation 仍不在範圍內。
由索引模型根據 Issue 內容生成。
評估
- 技術堆疊
- python
- 領域
- data-engineering
- Issue 類型
- 功能
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 活躍度
- 冷清
- 描述清晰度
- 基本清楚
- 新手友好度
- 58/100