Add PARQUET_1_0 and non-repeated data performance tests to parquet-benchmarks
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
The current parquet-benchmarks module run some performance tests between different block & page sizes for PARQUET_2_0 version only. We should run some tests with PARQUET_1_0 version as well in order to get a view about new parquet version enhancements, and be able to catch possible overheads early by comparing with the old file format.
Also, this module uses repeated data to benchmark the settings. We should also use random data to get different results about how current and new encodings work with real world data.
**Reporter**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
**Assignee**: [Sergio Peña](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=spena) / @spena
#### PRs and other links:
- [PR-224](https://github.com/apache/parquet-mr/pull/224)
**Note**: *This issue was originally created as [PARQUET-315](https://issues.apache.org/jira/browse/PARQUET-315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
parquet-benchmarks モジュールから始め、ブロックサイズとページサイズを変化させる既存の PARQUET_2_0 パフォーマンステストを確認してください。繰り返しデータのベンチマークに加えて、PARQUET_1_0 とランダムデータのカバレッジを追加し、その後結果を比較して、両方のフォーマットバージョンとデータパターンがテストされていることを確認してください。過去の作業とコンテキストについては PR-224 を確認してください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering, performance
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 20/100