Reuse hadoop file status and footer in ParquetRecordReader
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
### Describe the enhancement requested
This is actually [PARQUET-2415](https://issues.apache.org/jira/browse/PARQUET-2415)
_Reuse hadoop file status and footer in ParquetRecordReader_ moved to a github issue.
That has a stale pr #1242 by @wankunde; I've got claude to rebase it and update to junit5/assertj
### Component(s)
Core
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách xác định ParquetRecordReader trong module core và xem xét PR #1242 đã cũ, được nhắc đến như một triển khai hiện có. Chạy các bài kiểm thử reader liên quan trong core và so sánh độ bao phủ của chúng; công việc được coi là hoàn tất khi reader tái sử dụng file status và footer của Hadoop mà không có hồi quy.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- hadoop, java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100