ParquetRecordReader support building ParquetFileReader using incoming Footer
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
SPARK-33449 discusses adding file meta cache mechanism for Spark SQL to reduce data reading and speed up query.
For the scenarios that need to use ParquetRecordReader, we hope to add an interface to support passing an existing footer to ParquetRecordReader and use this instance to build ParquetFileReader.
**Reporter**: [Yang Jie](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=LuciferYang) / @LuciferYang
**Note**: *This issue was originally created as [PARQUET-1965](https://issues.apache.org/jira/browse/PARQUET-1965). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách tìm ParquetRecordReader và đoạn mã xây dựng ParquetFileReader, sau đó kiểm tra các bài kiểm thử và cách sử dụng reader hiện có. Triển khai hỗ trợ cung cấp một footer hiện có và xác minh rằng reader sử dụng nó khi xây dựng ParquetFileReader, mà không thay đổi đường đi hiện tại đối với các callers không cung cấp footer.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100