apache / apache/paimon-cpp

[Feature] Unpack predicate boolean kernel bitmaps a byte at a time

Đã đóng
#335 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
enhancement
Ngôn ngữ chính
C++
Star
65
Fork
25
Merge trung bình
2 ngày 12 giờ
Pull request đã merge (30 ngày)
80

Mô tả

## Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon-cpp/issues) and found nothing similar.

## Motivation

Two predicate leaf functions evaluate a batch by running an `arrow::compute` kernel and reading back the `arrow::BooleanArray` it writes: `MultiLiteralsLeafFunction` (`IN` / `NOT IN`, via `IsIn`) and `NullFalseLeafBinaryFunction` (the comparison functions). A kernel returns a bitmap, one bit per row, but `LeafFunction::Test` returns `std::vector`, one byte per row, so both call sites spread the bits over bytes with the same per-row loop: test `IsNull`, read `Value`, apply the negation `NOT IN` needs, store a byte. That is a shift, a mask and a byte store per row, duplicated across the two call sites, on the selection path every filtered batch goes through.

## Solution

Extract the spread into one helper, `ArrowUtils::UnpackBooleansToBytes(array, negate)`, and read the bitmap a byte at a time instead of a bit at a time:

- A compile-time table maps each of the 256 bitmap bytes to the eight bytes it expands to, so the aligned body produces eight rows per iteration with one lookup and one 8-byte store.
- A scalar head and tail cover the rows sharing a partial leading or trailing byte, which is where the array offset is not byte-aligned; a batch a kernel has just written is aligned, so it takes the fast body throughout.
- The offset and the validity bitmap are honoured exactly as `BooleanArray::Value()` and `Array::IsValid()` honour them, and a null row unpacks to 0 whatever the value bitmap holds for it, which is what both `IN` / `NOT IN` and every `NullFalseLeafBinaryFunction` require.

`MultiLiteralsLeafFunction` passes its `negate` through; `NullFalseLeafBinaryFunction` passes `negate=false`. The bytes each returns are unchanged.

## Anything else?

A property test that asserts the helper equals a row-by-row reference through the very accessors it replaces, over every `(offset, length)` slice of a bitmap whose value and null periods are not multiples of eight and both negate values, pins the offset, validity and negate handling against the definitions it optimizes. No change to any header under `include/paimon/`, the storage format, or the protocol: `ArrowUtils` is an internal utility under `src/paimon/common/utils/arrow/`.

## Are you willing to submit a PR?

- [x] I'm willing to submit a PR!

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu trong src/paimon/common/utils/arrow/ và tìm MultiLiteralsLeafFunction cùng NullFalseLeafBinaryFunction, sau đó lần theo các vòng lặp bitmap-to-byte hiện có của chúng qua LeafFunction::Test. Thêm helper dùng chung và một property test bao quát mọi offset và length, cả hai giá trị negate, cũng như các khoảng validity không căn theo ranh giới byte. Hoàn tất khi helper khớp với accessor reference theo từng hàng và cả hai caller trả về các byte không thay đổi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
cpp
Lĩnh vực
data
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Đặc tả rõ ràng
Mức phù hợp với người mới
74/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.