apache / apache/parquet-java

Avoid Hadoop interfaces and classes in codecs

オープン
#2,818 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Minor Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

Currently the codecs implemented by Parquet implement the Hadoop Configurable and CompressionCodec interfaces. As part of the effort to decouple from Hadoop there need to be alternatives to these Hadoop implementations such that users are not forced to load Hadoop classes for this purpose at runtime.

**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
#### Related issues:
- [Parquet without Hadoop dependencies](https://github.com/apache/parquet-java/issues/2473) (is related to)
- [Add interface layer between Parquet and Hadoop Configuration](https://github.com/apache/parquet-java/issues/2812) (is related to)

**Note**: *This issue was originally created as [PARQUET-2353](https://issues.apache.org/jira/browse/PARQUET-2353). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、Hadoop 依存関係の削除と Parquet と Hadoop Configuration の間へのインターフェース層の追加に関する関連 issue を読み、次に、現在 Hadoop Configurable と CompressionCodec を使用している codec の実装を調査してください。置き換え用インターフェースと互換性の動作がこの一連の作業によって定義され、ユーザーが実行時に Hadoop クラスをロードせずに codec を使用できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。