InternalParquetRecordWriter flushRowGroupToStore not actually writing to file
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
### Describe the bug, including details regarding any error messages, version, and platform.
Description:
The flushRowGroupToStore method in InternalParquetRecordWriter purports to "Flush mem columnStore to file," but no data is actually written to the file system until the close method is invoked. This behavior is unexpected, as one would anticipate data being flushed.
Expected Result:
Data should be written to the file when flushRowGroupToStore is invoked, effectively flushing the in-memory column store contents to the file.
Actual Result:
File contents remain empty until the close method is called, where parquetFileWriter.end is invoked to write the data.
Version : parquet-hadoop 1.13.1
### Component(s)
_No response_
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par lire InternalParquetRecordWriter, en particulier flushRowGroupToStore et close, puis suivez la manière dont parquetFileWriter.end écrit les données mises en mémoire tampon. Confirmez la limite de flush attendue et ajoutez ou mettez à jour la couverture du contenu du fichier après flushRowGroupToStore ; le travail est terminé lorsque le fichier contient le row group flushé avant l’appel de close.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100