Why doesn't Parquet currently support writing multiple row groups simultaneously?

Hi Parquet developers,

I have a question regarding the current implementation of Parquet. As far as I understand, Parquet does not support writing multiple row groups simultaneously. Could you please explain the reasoning behind this design choice?

Additionally, I am considering modifying Parquet to allow for multiple row groups to exist in memory and be flushed sequentially. From a high-level perspective, does this approach seem feasible? Are there any potential pitfalls or challenges I should be aware of?

Thank you for your time and assistance.

Best regards,

Aucun fichier source, test ou point d’entrée n’est indiqué. Commencez par localiser le writer Parquet actuel et la gestion des row groups, puis suivez la manière dont les row groups sont conservés et vidés ; pour considérer le travail comme terminé, il faudrait un design confirmé par un maintainer et des réponses documentées concernant la faisabilité, l’utilisation mémoire, l’ordre et les autres pièges possibles.

Rédigé par le modèle d'indexation à partir du texte de l'issue.