apache / apache/parquet-java

Deprecate methods relying on Hadoop classes when alternatives using more generic Parquet interfaces are available

オープン
#2,838 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Major Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

Deprecate methods relying on Hadoop classes when alternatives using Parquet interfaces are available. This would allow for fully decoupling from Hadoop for simple read/write (and potentially rewrite) operations in the future, where we are now only on track to decouple from hadoop-client-runtime in the near future.

We could decide to still keep Hadoop methods available through convenience classes in their own Hadooped module, but for core read/write logic to be available without forcing users into the Hadoop dependency, we will need to fully strip the core readers and writers of these references.

**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
#### Related issues:
- [Create specialized HadoopParquetWriter](https://github.com/apache/parquet-java/issues/2854) (is blocked by)
- [Create specialized HadoopParquetReader](https://github.com/apache/parquet-java/issues/2855) (is blocked by)

**Note**: *This issue was originally created as [PARQUET-2381](https://issues.apache.org/jira/browse/PARQUET-2381). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、issue にリンクされている移行ドキュメントを確認し、次に HadoopParquetWriter と HadoopParquetReader に関連する、専門化された issue を読んでください。Hadoop クラスに依存している中核的な読み取り/書き込みメソッドと、利用可能な汎用 Parquet インターフェースを特定してください。説明どおりにそれらのメソッドが deprecated または分離され、Hadoop 固有のパスが分離されて、core のユーザーに依存関係を強制しない状態になれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
リファクタリング
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。