Make writeAllFields more efficient in proto-parquet component
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
This will improve the write performance by 1/3 - 1/4 based on my testing. It makes a huge difference when dealing with really large files (several GBs).
In the original implementation, a significant time was spent on creating unnecessary Java objects.
**Reporter**: [Chen Song](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=capricornius)
**Assignee**: [Chen Song](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=capricornius)
**Note**: *This issue was originally created as [PARQUET-535](https://issues.apache.org/jira/browse/PARQUET-535). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, writeAllFields in der proto-parquet-Komponente zu lokalisieren und den aktuellen Pfad zur Objekterstellung zu überprüfen. Verwende das im Issue beschriebene Leistungsszenario für große Dateien als Benchmark; abgeschlossen ist die Aufgabe, wenn die Methode die in der Implementierung identifizierten unnötigen Java-Objekte vermeidet und die beabsichtigte Verbesserung der Schreibperformance zeigt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Refactoring
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 30/100