apache / apache/datafusion-python
Queries on tables via `register_dataset()` much slower than `register_parquet()`
- Ngôn ngữ chính
- Python
- Star
- 604
- Fork
- 174
- Merge trung bình
- 2 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 5
Mô tả
**Describe the bug**
Queries against tables registered with `register_dataset()` perform around 80x slower than those registered with `register_parquet()`.
**To Reproduce**
```
import datafusion
import pyarrow.dataset as ds
from pathlib import Path
ctx = datafusion.SessionContext()
ctx.register_parquet("mytable", "*.parquet")
ctx.register_dataset("mytable2", ds.dataset(list(Path(".").glob("*.parquet"))))
```
Fast:
```
%time ctx.sql('select file_date, sum("Price" * "Volume") from mytable group by file_date order by file_date').to_arrow_table()
CPU times: user 2min 41s, sys: 3.35 s, total: 2min 45s
Wall time: 2.49 s
```
Slow:
```
%time ctx.sql('select file_date, sum("Price" * "Volume") from mytable2 group by file_date order by file_date').to_arrow_table()
CPU times: user 10min 51s, sys: 5min 40s, total: 16min 31s
Wall time: 3min 18s
```
**Expected behavior**
I'd expect these to be similar performance.
**Additional context**
The reason I'm using `ds.dataset` is because the actual files I'm interesting in accessing are not conveniently globbable (they're across multiple directories). So ideally I'd be able to provide a list of files to `ctx.register_parquet()` instead of a simple glob.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách chạy việc tái hiện và so sánh ctx.register_parquet() với ctx.register_dataset() bằng truy vấn được nhóm, sau đó lần theo hai điểm vào đăng ký trong Python bindings. Công việc được xem là hoàn tất khi cùng các tệp parquet có hiệu năng truy vấn tương đương và register_parquet() có thể chấp nhận một danh sách tệp, như đã yêu cầu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- data-engineering, performance
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100