apache / apache/parquet-java

Special case empty columns to store 0 pages and no column chunks in the footer

Đang mở
#1,731 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

Currently when a column is empty, each row group will contain one page that encodes repetition and definition levels for this row group. These will be as many 0s as there are rows in the row group (stored in the row group metadata). These values are encoded using RLE so it ends up being very small.
However in cases where there are a lot of columns in a very sparse dataset we end up with a lot of empty column chunks (a column chunk is the data for a given column in a given row group). The metadata could become much smaller by omitting empty column chunks as the metadata of an empty column chunk can be derived from the row count in the corresponding row group.

I propose the following:
When a column chunk is empty, do not write any page to it.
Do not add the column chunk metadata in the footer for such empty columns.
A column chunk is empty if when writing the row group to disk, there is only one page and this page contains rl and dl that are only 0s. (completely empty column).
When reading the dataset:
- the column is present in the schema.
- if there's no column chunk in the footer for a given row group that means we can just replace rls and dls with infinite streams of 0s.
- any stats information can be replaced by #rows count of nulls in predicate push down.

This will help in cases where we have huge schemas where actually a small subset of columns are populated. The file data will now look like as if we had declared only the schema for columns that actually have data in them. Only the schema in the footer will mention those empty columns.

**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem

**Note**: *This issue was originally created as [PARQUET-183](https://issues.apache.org/jira/browse/PARQUET-183). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách lần theo row-group writer, việc xử lý siêu dữ liệu của column-chunk trong footer và dataset reader được mô tả trong issue. Kiểm tra cách predicate pushdown sử dụng các thống kê và cách các column chunk bị thiếu có thể cung cấp repetition levels và definition levels. Công việc được xem là hoàn tất khi các cột rỗng không ghi page hoặc siêu dữ liệu column-chunk nào vào footer, trong khi các reader tái tạo chính xác các level bằng không và các thống kê null.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.