Provide pluggable APIs to support user customized compression codec
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
_In demand of better performance, quite some end users want to leverage accelerators (e.g. FPGA, Intel QAT) to offload compression computation. Parquet, as a well adopted data format, should allow compression codec implementation customization via a pluggable mechanism for those standard compression codec. This JIRA is intended for introducing this set of APIs._
**Reporter**: [XinDong](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=XinDong) / @XinDongSh
#### PRs and other links:
- [Pull Request](https://github.com/apache/parquet-mr/pull/762)
**Note**: *This issue was originally created as [PARQUET-1804](https://issues.apache.org/jira/browse/PARQUET-1804). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne mit der Überprüfung von Pull Request 762 und der verknüpften Migrationsdokumentation zum früheren Problem PARQUET-1804. Verwende die Problembeschreibung, um den Umfang für pluggable APIs zu bestimmen, die angepasste Implementierungen standardmäßiger Komprimierungscodecs unterstützen; als abgeschlossen gilt die Arbeit, wenn die angeforderte API-Menge eingeführt ist und Codec-Implementierungen mit Accelerator-Unterstützung unterstützt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- backend-api-design
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100