ParquetRecordWriter does not provide interface like getRowCount(),getRawDataSize() like org.apache.orc.Writer
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
Hive with orc can update the statistics like rowCount,rawDataSize after loading data to table. Hive with parquet cannot and need to use analyze command like "analyze table xxx compute statistics noscan" to update these two statistics info. The reason is ParquetRecordWriter used in hive does not provide interfaces like getRowCount(),getRawDataSize(). While org.apache.orc.Writer provides these [two interfaces](https://github.com/apache/orc/blob/master/java/core/src/java/org/apache/orc/Writer.java#L68 ). Anyone knows how to get rowCount and rawDataSize in ParquetRecordWriter?
**Reporter**: [liyunzhang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=kellyzly)
**Note**: *This issue was originally created as [PARQUET-1117](https://issues.apache.org/jira/browse/PARQUET-1117). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
まず、このリポジトリ内で ParquetRecordWriter を見つけ、利用可能なインターフェースを、issue にリンクされている org.apache.orc.Writer の参照と比較します。Hive が現在 rowCount と rawDataSize をどのように取得しているかを確認し、指定された analyze table コマンドを必要とせずに、要求された統計情報を公開できることを確認します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100