apache / apache/parquet-java

Deprecate methods relying on Hadoop classes when alternatives using more generic Parquet interfaces are available

Offen
#2,838 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Deprecate methods relying on Hadoop classes when alternatives using Parquet interfaces are available. This would allow for fully decoupling from Hadoop for simple read/write (and potentially rewrite) operations in the future, where we are now only on track to decouple from hadoop-client-runtime in the near future.

We could decide to still keep Hadoop methods available through convenience classes in their own Hadooped module, but for core read/write logic to be available without forcing users into the Hadoop dependency, we will need to fully strip the core readers and writers of these references.

**Reporter**: [Atour Mousavi Gourabi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=amousavigourabi) / @amousavigourabi
#### Related issues:
- [Create specialized HadoopParquetWriter](https://github.com/apache/parquet-java/issues/2854) (is blocked by)
- [Create specialized HadoopParquetReader](https://github.com/apache/parquet-java/issues/2855) (is blocked by)

**Note**: *This issue was originally created as [PARQUET-2381](https://issues.apache.org/jira/browse/PARQUET-2381). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit der in der Issue verlinkten Migrationsdokumentation und lies anschließend die zugehörigen spezialisierten Issues zu HadoopParquetWriter und HadoopParquetReader. Ermittle die zentralen Lese-/Schreibmethoden, die von Hadoop-Klassen abhängen, sowie die verfügbaren generischen Parquet-Schnittstellen. Als erledigt gilt die Aufgabe, wenn diese Methoden wie beschrieben deprecated oder entkoppelt sind und der Hadoop-spezifische Pfad isoliert ist, ohne Core-Nutzern die Abhängigkeit aufzuzwingen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Refactoring
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.