apache / apache/parquet-java

Create specialized HadoopParquetWriter

Đang mở
#2,854 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Hadoop Component: Java Component: Parquet Priority: Major Type: enhancement
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

Setting up a specialized HadoopParquetWriter allows for deprecating the Hadoop specific methods in ParquetWriter as in PARQUET-2381. This could allow for an easier and more gentle transition away from the current Hadoop-coupled Parquet writer API by encouraging transitioning to this specialized class already, before completely phasing out the Hadoop methods from ParquetWriter in the future.

**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
#### Related issues:
- [Deprecate methods relying on Hadoop classes when alternatives using more generic Parquet interfaces are available](https://github.com/apache/parquet-java/issues/2838) (blocks)

**Note**: *This issue was originally created as [PARQUET-2402](https://issues.apache.org/jira/browse/PARQUET-2402). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách đọc API ParquetWriter hiện có và các cuộc thảo luận liên quan của PARQUET-2381 và issue 2838, sau đó xem lại tài liệu di chuyển được tham chiếu trong PARQUET-2502. Xác định phạm vi của HadoopParquetWriter và xác nhận cách nó hỗ trợ việc loại bỏ theo kế hoạch các phương thức ParquetWriter dành riêng cho Hadoop. Được coi là hoàn tất khi lớp chuyên biệt và lộ trình chuyển tiếp đã được xác lập rõ ràng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.