Support empty structs in Thrift
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
It is tricky to support in parquet because struct fields are stored in the definition levels of the fields they contain.
So if there is no content, they can not be stored.
Here is a proposed solution to support this in Parquet: https://github.com/apache/incubator-parquet-mr/pull/65
Basically, I'm adding an artificial optional field in the struct that will be always null but will store whether the struct that contains it is defined or not.
**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Assignee**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Note**: *This issue was originally created as [PARQUET-103](https://issues.apache.org/jira/browse/PARQUET-103). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、parquet-mr pull request 65 で提案されている解決策と、Parquet で空の struct がどのように表現されるかについての背景を読んでください。parquet-java が空の struct の読み書きをサポートし、struct が定義済みか null かを保持できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 25/100