apache / apache/parquet-java

Limit the number of rows per block and per split

Đang mở
#1,861 9 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

We use Parquet to store raw metrics data and then query this data with Hadoop-Pig.

The issue is that sometimes we end up with small Parquet files (~80mo) that contain more than 300 000 000 rows, usually because of a constant metric which results in a very good compression. Too good. As a result we have a very few number of maps that process up to 10x more rows than the other maps and we lose the benefits of the parallelization.

The fix for that has two components I believe:
1. Be able to limit the number of rows per Parquet block (in addition to the size limit).
2. Be able to limit the number of rows per split.

**Reporter**: [Quentin Francois](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=QuentinFra)
#### Externally tracked issue: [https://github.com/apache/parquet-mr/pull/251](https://github.com/apache/parquet-mr/pull/251)

**Note**: *This issue was originally created as [PARQUET-344](https://issues.apache.org/jira/browse/PARQUET-344). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng việc xem xét các yêu cầu về hàng/khối và split của Parquet trong issue này cũng như pull request 251 được theo dõi bên ngoài, chú ý đến việc song song hóa các truy vấn Hadoop-Pig. Hoàn thành nghĩa là hỗ trợ các giới hạn hàng có thể cấu hình cho cả khối và split, đồng thời duy trì hành vi giới hạn kích thước hiện có.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
hadoop, java
Lĩnh vực
data-engineering, distributed-systems
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.