apache / apache/parquet-java

Support empty structs in Thrift

オープン
#1,589 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Major Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

It is tricky to support in parquet because struct fields are stored in the definition levels of the fields they contain.
So if there is no content, they can not be stored.
Here is a proposed solution to support this in Parquet: https://github.com/apache/incubator-parquet-mr/pull/65
Basically, I'm adding an artificial optional field in the struct that will be always null but will store whether the struct that contains it is defined or not.

**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Assignee**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem

**Note**: *This issue was originally created as [PARQUET-103](https://issues.apache.org/jira/browse/PARQUET-103). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、parquet-mr pull request 65 で提案されている解決策と、Parquet で空の struct がどのように表現されるかについての背景を読んでください。parquet-java が空の struct の読み書きをサポートし、struct が定義済みか null かを保持できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。