Avoid Hadoop interfaces and classes in codecs
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
Currently the codecs implemented by Parquet implement the Hadoop Configurable and CompressionCodec interfaces. As part of the effort to decouple from Hadoop there need to be alternatives to these Hadoop implementations such that users are not forced to load Hadoop classes for this purpose at runtime.
**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
#### Related issues:
- [Parquet without Hadoop dependencies](https://github.com/apache/parquet-java/issues/2473) (is related to)
- [Add interface layer between Parquet and Hadoop Configuration](https://github.com/apache/parquet-java/issues/2812) (is related to)
**Note**: *This issue was originally created as [PARQUET-2353](https://issues.apache.org/jira/browse/PARQUET-2353). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, die verwandten Issues zum Entfernen von Hadoop-Abhängigkeiten und zum Hinzufügen einer Schnittstellenschicht zwischen Parquet und Hadoop Configuration zu lesen. Untersuche anschließend die Codec-Implementierungen, die derzeit Hadoop Configurable und CompressionCodec verwenden. Als abgeschlossen gilt die Arbeit, wenn Benutzer die Codecs verwenden können, ohne Hadoop-Klassen zur Laufzeit zu laden, wobei die Ersatzschnittstellen und das Kompatibilitätsverhalten durch diese umgebende Arbeit festgelegt sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100