apache / apache/parquet-java

Why doesn't Parquet currently support writing multiple row groups simultaneously?

オープン
#2,929 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
question
主要言語
Java
スター
3.1k
フォーク
1.6k
平均マージ
3日 12時間
マージ済み PR(30日)
33

説明

Hi Parquet developers,

I have a question regarding the current implementation of Parquet. As far as I understand, Parquet does not support writing multiple row groups simultaneously. Could you please explain the reasoning behind this design choice?

Additionally, I am considering modifying Parquet to allow for multiple row groups to exist in memory and be flushed sequentially. From a high-level perspective, does this approach seem feasible? Are there any potential pitfalls or challenges I should be aware of?

Thank you for your time and assistance.

Best regards,

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

ソースファイル、テスト、エントリーポイントのいずれも指定されていません。まず現在の Parquet writer と row group の処理箇所を探し、次に row group がどのように保持され、フラッシュされるかを追跡してください。完了には、メンテナーが確認した設計と、実現可能性、メモリ使用量、順序、その他の落とし穴について文書化された回答が必要です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
data-engineering
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。