Why doesn't Parquet currently support writing multiple row groups simultaneously?

Hi Parquet developers,

I have a question regarding the current implementation of Parquet. As far as I understand, Parquet does not support writing multiple row groups simultaneously. Could you please explain the reasoning behind this design choice?

Additionally, I am considering modifying Parquet to allow for multiple row groups to exist in memory and be flushed sequentially. From a high-level perspective, does this approach seem feasible? Are there any potential pitfalls or challenges I should be aware of?

Thank you for your time and assistance.

Best regards,

Non sono indicati file sorgente, test o entry point. Inizia individuando l’attuale writer Parquet e la gestione dei gruppi di righe, quindi segui come i gruppi di righe vengono mantenuti e svuotati; per considerare il lavoro completato servirebbero un design confermato da un maintainer e risposte documentate su fattibilità, uso della memoria, ordinamento e altre possibili insidie.

Scritto dal modello di indicizzazione a partire dal testo della issue.