apache / apache/iceberg-python

[feat] add missing metadata tables

未關閉
#1,053 36 則留言 4 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
1.1k
分支
588
平均合併
1 天 23 小時
30 天內合併 PR
84

描述

### Feature Request / Improvement

Looks like there are a few more metadata tables currently missing in PyIceberg.

Source of truth for metadata tables: https://iceberg.apache.org/javadoc/latest/org/apache/iceberg/MetadataTableType.html

Done: https://py.iceberg.apache.org/api/#inspecting-tables
- [x] SNAPSHOTS
- [x] PARTITIONS
- [x] ENTRIES
- [x] REFS
- [x] MANIFESTS
- [x] METADATA_LOG_ENTRIES
- [x] HISTORY
- [x] FILES

Missing:
- [x] ALL_DATA_FILES
- [x] ALL_DELETE_FILES
- [ ] ALL_ENTRIES
- [x] ALL_FILES
- [x] ALL_MANIFESTS
- [x] DATA_FILES
- [x] DELETE_FILES
- [ ] POSITION_DELETES

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

從 https://py.iceberg.apache.org/api/#inspecting-tables 中記載的 PyIceberg 資料表檢查入口開始,接著將其支援的中繼資料資料表與權威來源 Apache Iceberg MetadataTableType 進行比較。完成標準是:除了已列出的中繼資料資料表外,也支援 ALL_ENTRIES 和 POSITION_DELETES。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
data-engineering, databases
Issue 類型
功能
難度
3/5
預估耗時
1-2 天
活躍度
冷清
描述清晰度
基本清楚
新手友好度
66/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。