Deprecate methods relying on Hadoop classes when alternatives using more generic Parquet interfaces are available
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
Deprecate methods relying on Hadoop classes when alternatives using Parquet interfaces are available. This would allow for fully decoupling from Hadoop for simple read/write (and potentially rewrite) operations in the future, where we are now only on track to decouple from hadoop-client-runtime in the near future.
We could decide to still keep Hadoop methods available through convenience classes in their own Hadooped module, but for core read/write logic to be available without forcing users into the Hadoop dependency, we will need to fully strip the core readers and writers of these references.
**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
#### Related issues:
- [Create specialized HadoopParquetWriter](https://github.com/apache/parquet-java/issues/2854) (is blocked by)
- [Create specialized HadoopParquetReader](https://github.com/apache/parquet-java/issues/2855) (is blocked by)
**Note**: *This issue was originally created as [PARQUET-2381](https://issues.apache.org/jira/browse/PARQUET-2381). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với tài liệu migration được liên kết trong issue, sau đó đọc các issue chuyên biệt liên quan đến HadoopParquetWriter và HadoopParquetReader. Xác định các phương thức đọc/ghi cốt lõi phụ thuộc vào các lớp Hadoop và các interface Parquet generic hiện có. Công việc được xem là hoàn tất khi các phương thức đó đã được deprecated hoặc tách rời như mô tả, với đường dẫn dành riêng cho Hadoop được cô lập mà không buộc dependency này lên người dùng core.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data-engineering
- Loại issue
- Tái cấu trúc
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100