apache / apache/parquet-java

Parquet OutputFormat should allow controlling the file size

Aperta
#1,387 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

To generate the most efficient on disk file, the size of the file is important to control. It would be nice if we could configure the ouputformat to roll over new files when it reaches the right size and start a new file.

There's currently no easy way to tune this and requires indirect tuning (number of reduces, map input size).

**Reporter**: [Nong Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=nongli) / @nongli

**Note**: *This issue was originally created as [PARQUET-17](https://issues.apache.org/jira/browse/PARQUET-17). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

La issue menziona Parquet OutputFormat, ma non indica file o test. Inizia individuando quel punto di ingresso e determinando come viene attualmente gestita la dimensione del file di output; il lavoro è completo quando viene esposta una soglia di dimensione configurabile che, al raggiungimento, sposta l’output in un nuovo file.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.