Make writeAllFields more efficient in proto-parquet component
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
This will improve the write performance by 1/3 - 1/4 based on my testing. It makes a huge difference when dealing with really large files (several GBs).
In the original implementation, a significant time was spent on creating unnecessary Java objects.
**Reporter**: [Chen Song](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=capricornius)
**Assignee**: [Chen Song](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=capricornius)
**Note**: *This issue was originally created as [PARQUET-535](https://issues.apache.org/jira/browse/PARQUET-535). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia individuando writeAllFields nel componente proto-parquet e rivedendo il suo attuale percorso di creazione degli oggetti. Usa come benchmark lo scenario di prestazioni con file di grandi dimensioni descritto nell’issue; il lavoro è completato quando il metodo evita gli oggetti Java non necessari identificati nell’implementazione e mostra il miglioramento previsto delle prestazioni di scrittura.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Refactoring
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 30/100