apache / apache/parquet-java

Limit the number of rows per block and per split

オープン
#1,861 コメント 9 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Major Type: enhancement
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

We use Parquet to store raw metrics data and then query this data with Hadoop-Pig.

The issue is that sometimes we end up with small Parquet files (~80mo) that contain more than 300 000 000 rows, usually because of a constant metric which results in a very good compression. Too good. As a result we have a very few number of maps that process up to 10x more rows than the other maps and we lose the benefits of the parallelization.

The fix for that has two components I believe:
1. Be able to limit the number of rows per Parquet block (in addition to the size limit).
2. Be able to limit the number of rows per split.

**Reporter**: [Quentin Francois](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=QuentinFra)
#### Externally tracked issue: [https://github.com/apache/parquet-mr/pull/251](https://github.com/apache/parquet-mr/pull/251)

**Note**: *This issue was originally created as [PARQUET-344](https://issues.apache.org/jira/browse/PARQUET-344). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、この issue における Parquet の行/ブロックおよび split の要件と、外部で追跡されている pull request 251 を確認し、Hadoop-Pig クエリの並列化に注意を払ってください。ブロックと split の両方で設定可能な行数制限をサポートしつつ、既存のサイズ制限の動作を維持できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
hadoop, java
領域
data-engineering, distributed-systems
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。