provide an option to skip a page in case corrupted bytes occur
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
In case of hardware failure (disk, memory, etc), there might be corrupted bytes. That will result in ArrayIndexOutOfBoundException or/and data garbled.
Currently, jobs reading those Parquet files will fail unless the corrupted files are deleted/moved.
Currently page metadata has a CRC field (not used so far), which can be used to check integrity of the page. If page data is corrupted, skip the whole page.
related issue: PARQUET-148
**Reporter**: [Tongjie Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=tongjie) / @tongjiechen
**Note**: *This issue was originally created as [PARQUET-149](https://issues.apache.org/jira/browse/PARQUET-149). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu từ luồng đọc trang Parquet và cách xử lý metadata của trang được mô tả trong issue; kiểm tra cách xác thực trường CRC hiện có trước khi dữ liệu trang được tiêu thụ. Tái hiện lỗi hỏng hoặc bổ sung coverage tập trung cho các byte trang bị hỏng, sau đó xác minh rằng trang bị ảnh hưởng được bỏ qua trong khi job vẫn tiếp tục thay vì thất bại hoặc trả về dữ liệu bị sai lệch.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 30/100