apache / apache/iceberg-python
Upsert gets slow on tables with many columns
- 主要语言
- Python
- 星标
- 1.1k
- 派生
- 581
- 平均合并
- 1 天 17 小时
- 30 天内合并 PR
- 78
描述
### Feature Request / Improvement
`upsert` compares the matched rows one cell at a time, so it gets slower with every extra column, not just with every extra row.
On a table with 200 columns, comparing 20k matched rows takes around 20 seconds on my machine, before anything is written.
To reproduce:
```python
import time
import pyarrow as pa
from pyiceberg.table.upsert_util import get_rows_to_update
rows, cols = 20_000, 200
table = pa.table({"pk": pa.array(range(rows)), **{f"c{i}": pa.array([float(i)] * rows) for i in range(cols)}})
start = time.monotonic()
get_rows_to_update(table, table, ["pk"]) # nothing has changed
print(time.monotonic() - start)
```
贡献指南
这个仓库没有索引到贡献指南
调研方向
从 pyiceberg.table.upsert_util.get_rows_to_update 开始,使用 20,000 行和 200 列运行提供的 PyArrow 复现代码。比较未发生变化的表上的当前行为,并跟踪匹配行在何处进行比较;完成标准是:无变化 upsert 的比较能够避免报告的依赖列数的性能下降,同时保留预期要更新的行。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- databases, performance
- Issue 类型
- 功能
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 活跃度
- 活跃
- 描述清晰度
- 基本清楚
- 新手友好度
- 68/100