Improve the creation of ExecutorService when reading footers
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Doing some benchmarks loading a large set of parquet files (3000+) from the local FS, we observed some inefficiencies in the number of created threads when reading footers.
By reading, the read the configuration parallelism in Hadoop configuration (defaulted to 5) and allocate 2 ExecuteService with each 5 threads to read footers. This is especially inefficient if there is less Callable to handle than the configured parallelism.
**Reporter**: [Benoit Lacelle](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=blasd)
**Note**: *This issue was originally created as [PARQUET-1055](https://issues.apache.org/jira/browse/PARQUET-1055). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Issue xác định việc đọc footer và tính song song trong cấu hình Hadoop là các điểm bắt đầu. Hãy lần theo nơi hai instance ExecutorService được tạo và so sánh kích thước của chúng với số lượng tác vụ Callable xử lý footer. Hoàn thành khi tránh được các thread dư thừa trong trường hợp có ít tác vụ hơn mức song song được cấu hình.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100