apache / apache/parquet-java

Parquet to report number of rows affected in the row group when corrupted bytes occur

Đang mở
#1,696 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

In case of hardware failure (disk, memory, etc), there might be corrupted bytes. That will result in ArrayIndexOutOfBoundException or/and data garbled.

Parquet should report number of rows being affected in case of such scenario.

**Reporter**: [Tongjie Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tongjie) / @tongjiechen

**Note**: *This issue was originally created as [PARQUET-147](https://issues.apache.org/jira/browse/PARQUET-147). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Issue không nêu tên tệp nguồn, bài kiểm thử hay điểm vào nào; hãy bắt đầu bằng cách xác định các đường dẫn đọc nhóm hàng của Parquet và xử lý dữ liệu hỏng/lỗi. Xác định cách phát hiện các byte bị hỏng và cách đếm các hàng bị ảnh hưởng, sau đó bổ sung kiểm thử cho thấy dữ liệu hỏng báo cáo số hàng bị ảnh hưởng mà không âm thầm chấp nhận dữ liệu bị biến dạng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Lỗi
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.