apache / apache/parquet-java

Allow for custom compression codecs

オープン
#1,988 コメント 6 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Parquet Priority: Minor Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

I understand that the list of accepted compression codecs is explicity limited to uncompressed, snappy, gzip, and lzo. (See parquet.hadoop.metadata.CompressionCodecName.java) Is there a reason for this? Or is there an easy workaround? On the surface it seems like an unnecessary restriction.

I ask because I have written a custom codec to implement encryption and I'm unable to use it with Parquet, which is a real shame because it is the main storage format I was hoping to use.

Other thoughts on how to implement encryption in Parquet with this limitation?

**Reporter**: [Steven Anton](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=santon)

**Note**: *This issue was originally created as [PARQUET-678](https://issues.apache.org/jira/browse/PARQUET-678). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

Start with parquet.hadoop.metadata.CompressionCodecName.java, the file named in the issue, and review the migration documentation linked in the issue note. Clarify whether the goal is custom codec support, an encryption workaround, or both; done should be a decided and documented approach that permits the requested use case.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。