apache / apache/iceberg-python

Support multi-argument transforms

未關閉
#3,628 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
1.1k
分支
581
平均合併
1 天 13 小時
30 天內合併 PR
76

描述

### Feature Request / Improvement

Part of #1818.

The V3 spec generalizes partition and sort fields to multiple source columns via `source-ids`. PyIceberg currently raises when `source-ids` has more than one element, so loading such tables fails — but the spec requires v3 readers to read tables with unknown transforms, ignoring them (null partition values, always-true projection in scan planning).

Scope: model `source-ids`, serialize per spec (`source-id` for single-argument transforms, `source-ids` otherwise), and treat multi-argument transforms as unknown in scan planning. Evaluating multi-argument transforms on write is out of scope until the spec defines concrete ones.

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

首先追蹤 partition-field 模型及其序列化,接著檢查 scan-planning 對 unknown transforms 的處理。將目前帶有單一參數的 source-id 行為與 V3 規範進行比較。完成的標準是:多參數 source-ids 能正確載入和序列化,在 scan-planning 期間被視為未知,且 write-time evaluation 仍不在範圍內。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
data-engineering
Issue 類型
功能
難度
4/5
預估耗時
3-5 天
活躍度
冷清
描述清晰度
基本清楚
新手友好度
58/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。