Why doesn't Parquet currently support writing multiple row groups simultaneously?
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
Hi Parquet developers,
I have a question regarding the current implementation of Parquet. As far as I understand, Parquet does not support writing multiple row groups simultaneously. Could you please explain the reasoning behind this design choice?
Additionally, I am considering modifying Parquet to allow for multiple row groups to exist in memory and be flushed sequentially. From a high-level perspective, does this approach seem feasible? Are there any potential pitfalls or challenges I should be aware of?
Thank you for your time and assistance.
Best regards,
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
ソースファイル、テスト、エントリーポイントのいずれも指定されていません。まず現在の Parquet writer と row group の処理箇所を探し、次に row group がどのように保持され、フラッシュされるかを追跡してください。完了には、メンテナーが確認した設計と、実現可能性、メモリ使用量、順序、その他の落とし穴について文書化された回答が必要です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100