Blosc / Blosc/python-blosc2

[BENCH] Real-world query performance comparison

Đang mở
#652 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
documentation help wanted
Ngôn ngữ chính
Python
Star
211
Fork
58
Merge trung bình
1 ngày 17 giờ
Pull request đã merge (30 ngày)
6

Mô tả

`examples/ctable/real_world.py` exists but is a fairly raw script. There is no self-contained example that clearly shows what performance gain SUMMARY indexes provide over a full scan, or how block size affects that gain — which is the most common question users will have after enabling auto-indexing.

Suggested work: Write `bench/ctable/summary_index_perf.py` that:
- Generates a synthetic CTable with a few million rows and numeric columns
- Runs the same where() query three ways: no index, SUMMARY at chunk granularity, SUMMARY at block granularity
- Prints a clean results table (rows scanned, time, speedup)
- Includes comments explaining the trade-offs

Ideally, it should work without any external dataset so it can be run immediately after install, but using an accessible dataset is also an option.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Đọc examples/ctable/real_world.py trước, sau đó tạo bench/ctable/summary_index_perf.py. Chạy benchmark độc lập sau khi cài đặt project và so sánh cùng một truy vấn where() khi không có index, SUMMARY ở mức độ chi tiết chunk và SUMMARY ở mức độ chi tiết block. Được xem là hoàn tất khi một bảng rõ ràng hiển thị số hàng đã quét, thời gian và mức tăng tốc, kèm các comment giải thích những đánh đổi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
data, performance
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
68/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.