apache / apache/parquet-java

Implement BytesWritable in DataWritableWriter Class in parquet

オープン
#1,477 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Major Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

Implement BytesWritable in org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriter Class in parquet .
writePremitive() api of this class has major Writable but not BytesWritable (Note - it has ByteWritable which is just 1 byte) . So we have to use the binaryWritable class . However binaryWritable does not have the set function which means for each record we have to call new (no of times string data type occurs ).

**Reporter**: [Suresh Bahuguna](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=subahugu)

**Note**: *This issue was originally created as [PARQUET-795](https://issues.apache.org/jira/browse/PARQUET-795). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

org.apache.hadoop.hive.ql.io.parquet.write.DataWritableWriter から始め、既存の Writable 処理と併せて writePremitive() を調査します。文字列データに対して binaryWritable がどのように使用されているかを確認し、そのうえで、レコードごとに新しいオブジェクトを必要とせずに BytesWritable の値が処理されることを検証します。このサポートが関連するテストでカバーされれば、issue は完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。