apache / apache/parquet-java

InternalParquetRecordWriter flushRowGroupToStore not actually writing to file

Aperta
#3,171 5 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

### Describe the bug, including details regarding any error messages, version, and platform.

Description:
The flushRowGroupToStore method in InternalParquetRecordWriter purports to "Flush mem columnStore to file," but no data is actually written to the file system until the close method is invoked. This behavior is unexpected, as one would anticipate data being flushed.

Expected Result:
Data should be written to the file when flushRowGroupToStore is invoked, effectively flushing the in-memory column store contents to the file.

Actual Result:
File contents remain empty until the close method is called, where parquetFileWriter.end is invoked to write the data.

Version : parquet-hadoop 1.13.1

### Component(s)

_No response_

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia leggendo InternalParquetRecordWriter, in particolare flushRowGroupToStore e close, poi traccia come parquetFileWriter.end scrive i dati memorizzati nel buffer. Conferma il limite di flush previsto e aggiungi o aggiorna la copertura per il contenuto del file dopo flushRowGroupToStore; l'attività è completata quando il file contiene il row group sottoposto a flush prima che venga invocato close.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.