apache / apache/parquet-java

Statistics is not available for DECIMAL types

オープン
#2,184 コメント 6 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Parquet Priority: Minor Type: bug
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

According to parquet format specification columns annotated as DECIMAL should use SIGNED comparator and statistics should be available. The sort order returned by `org.apache.parquet.format.converter.ParquetMetadataConverter` for DECIMAL is `SortOrder.UNKNOWN` which contradicts the specification and makes statistics for DECIMAL types unavailable.

**Reporter**: [Vlad Rozov](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=vrozov) / @vrozov
**Assignee**: [Vlad Rozov](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=vrozov) / @vrozov
#### Related issues:
- [Allow for Unsigned Statistics in Binary Type](https://github.com/apache/parquet-format/issues/314) (is caused by)
#### PRs and other links:
- [GitHub Pull Request #494](https://github.com/apache/parquet-mr/pull/494)
- [Decimal format specification](https://github.com/apache/parquet-format/blob/master/LogicalTypes.md#decimal)

**Note**: *This issue was originally created as [PARQUET-1322](https://issues.apache.org/jira/browse/PARQUET-1322). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

org.apache.parquet.format.converter.ParquetMetadataConverter から始め、DECIMAL のソート順がどのように決定されるかを調べてください。その動作を Decimal format specification および関連する統計情報の議論と比較してください。DECIMAL 列が指定された SIGNED コンパレーターを使用し、その統計情報を利用できるようになれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。