apache / apache/iceberg-python

Upsert gets slow on tables with many columns

未关闭
#3,860 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
1.1k
派生
581
平均合并
1 天 17 小时
30 天内合并 PR
78

描述

### Feature Request / Improvement

`upsert` compares the matched rows one cell at a time, so it gets slower with every extra column, not just with every extra row.

On a table with 200 columns, comparing 20k matched rows takes around 20 seconds on my machine, before anything is written.

To reproduce:

```python
import time
import pyarrow as pa
from pyiceberg.table.upsert_util import get_rows_to_update

rows, cols = 20_000, 200
table = pa.table({"pk": pa.array(range(rows)), **{f"c{i}": pa.array([float(i)] * rows) for i in range(cols)}})

start = time.monotonic()
get_rows_to_update(table, table, ["pk"]) # nothing has changed
print(time.monotonic() - start)
```

贡献指南

这个仓库没有索引到贡献指南

调研方向

从 pyiceberg.table.upsert_util.get_rows_to_update 开始,使用 20,000 行和 200 列运行提供的 PyArrow 复现代码。比较未发生变化的表上的当前行为,并跟踪匹配行在何处进行比较;完成标准是:无变化 upsert 的比较能够避免报告的依赖列数的性能下降,同时保留预期要更新的行。

由索引模型根据 Issue 内容生成。

评估

技术栈
python
领域
databases, performance
Issue 类型
功能
难度
3/5
预计耗时
1-2 天
活跃度
活跃
描述清晰度
基本清楚
新手友好度
68/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。