apache / apache/parquet-java

Add PARQUET_1_0 and non-repeated data performance tests to parquet-benchmarks

オープン
#1,839 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
Component: Java Component: Parquet Priority: Minor Type: test
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

The current parquet-benchmarks module run some performance tests between different block & page sizes for PARQUET_2_0 version only. We should run some tests with PARQUET_1_0 version as well in order to get a view about new parquet version enhancements, and be able to catch possible overheads early by comparing with the old file format.

Also, this module uses repeated data to benchmark the settings. We should also use random data to get different results about how current and new encodings work with real world data.

**Reporter**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
**Assignee**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
#### PRs and other links:
- [PR-224](https://github.com/apache/parquet-mr/pull/224)

**Note**: *This issue was originally created as [PARQUET-315](https://issues.apache.org/jira/browse/PARQUET-315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

parquet-benchmarks モジュールから始め、ブロックサイズとページサイズを変化させる既存の PARQUET_2_0 パフォーマンステストを確認してください。繰り返しデータのベンチマークに加えて、PARQUET_1_0 とランダムデータのカバレッジを追加し、その後結果を比較して、両方のフォーマットバージョンとデータパターンがテストされていることを確認してください。過去の作業とコンテキストについては PR-224 を確認してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering, performance
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
20/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。