apache / apache/parquet-java

Use airlift non-native implementations for GZIP, LZ0 and LZ4 codecs

Offen
#2,359 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

@rdblue  pointed me to  which provides non-native implementations of compression codecs. It claims to be much faster than native wrappers that parquet uses. This Jira is to track the work needed for exploring using these codecs, getting benchmark results and making changes including not needing to pool compressors and decompressors anymore. Note that this doesn't include SNAPPY since Parquet already has its own non-hadoopy implementation for it. 

**Reporter**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
**Assignee**: [Samarth Jain](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=samarthjain) / @samarthjain
#### PRs and other links:
- [GitHub Pull Request #671](https://github.com/apache/parquet-mr/pull/671)

**Note**: *This issue was originally created as [PARQUET-1643](https://issues.apache.org/jira/browse/PARQUET-1643). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit der Durchsicht von airlift/aircompressor und der in Pull Request #671 festgehaltenen Arbeit. Untersuche die Änderungen an den GZIP-, LZ0- und LZ4-Codecs sowie die Benchmark-Ergebnisse, einschließlich der Frage, ob das Pooling von Kompressoren und Dekompressoren weiterhin erforderlich ist. Als abgeschlossen gilt die Aufgabe, wenn die Untersuchung, die Benchmarks und die zugehörigen Parquet-Änderungen abgeschlossen und dokumentiert sind.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data, performance
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
15/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.