duckdb / duckdb/duckdb-python

Pushdown Filter Type BLOOM_FILTER is not currently supported in PyArrow Scans

Đang mở
#463 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
needs more info
Ngôn ngữ chính
Python
Star
186
Fork
113
Merge trung bình
13 giờ 29 phút
Pull request đã merge (30 ngày)
17

Mô tả

### What happens?

Hi,

I am running into this error message and am unsure what to do.
```
_duckdb.NotImplementedException: Not implemented Error: Pushdown Filter Type BLOOM_FILTER is not currently supported in PyArrow Scans
```
It seems I can either disable pushdown filtering through joins, or materialize the query before doing my join. I would rather not do either, since it is a lot of data that I am processing.

Reading the source files with a non-pyarrow reader is unfortunately not an option at this time.

### To Reproduce

Unfortunately, I don't really have a reproducer, but I think the maintainers will know what the issue is anyways from the error message. It seems to me that Pyarrow do support bloom filter, but the pushdown is just not implemented?

### OS:

Ubuntu 22

### DuckDB Package Version:

1.5.2

### Python Version:

3.11

### Full Name:

Jakob Stigenberg

### Affiliation:

Qubos Systematic

### What is the latest build you tested with? If possible, we recommend testing with the latest nightly build.

I have tested with a stable release

### Did you include all relevant data sets for reproducing the issue?

No - I cannot share the data sets because they are confidential

### Did you include all code required to reproduce the issue?

- [ ] Yes, I have

### Did you include all relevant configuration to reproduce the issue?

- [x] Yes, I have

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu từ đường dẫn quét PyArrow phát ra BLOOM_FILTER NotImplementedException và điều tra cách join filter pushdown đi tới đó. Báo cáo không có dataset hoặc mã có thể tái hiện, vì vậy trước tiên hãy thiết lập một trường hợp tối thiểu bằng DuckDB 1.5.2 với Python 3.11. Được xem là hoàn thành khi quá trình quét PyArrow được hỗ trợ không còn phát sinh lỗi này đối với kịch bản pushdown được báo cáo, với hành vi được xác thực bằng một trường hợp hồi quy phù hợp.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
databases
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.