Enhance the way path checking is done in ParquetFileWriter.mergeFooters
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
To ensure a metadata summary is only written to the same path as the files from which the summary is created, there is a check against the the root path for each footer's file. Only the path is compared, which leaves a possibility that the same path on 2 different types of filesystems (hdfs vs. file for example) could cause some unexpected or erroneous output.
This outcome would be unlikely, but it is not explicitly prevented anywhere which exposes risk to future changes.
**Reporter**: [Chris Albright](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ChrisAlbright)
**Note**: *This issue was originally created as [PARQUET-125](https://issues.apache.org/jira/browse/PARQUET-125). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Start by locating ParquetFileWriter.mergeFooters and inspect how each footer's file path is compared with the root path. Confirm the comparison includes the filesystem type as well as the path, and verify that summaries cannot combine files from different filesystem implementations.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100