apache / apache/parquet-java

Make MessageType serializable

Offen
#2,035 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: enhancement
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Background: I'm writing `ParquetRDD` implementation to run on Apache Spark. One of the features I want to provide is the ability to create instance of `ParqeutRDD` with a projection (specify columns to be loaded)

Problem: Schema information is not serializable. Neither `MessageType` nor any other class that extends `Type` extends `Serializable`.

Question: Is there any specific reason why not to have it the `extends Serializable`?
If not, then I will be more then happy to provide PR.

**Reporter**: [Pawel Szulc](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=rabbitonweb)

**Note**: *This issue was originally created as [PARQUET-850](https://issues.apache.org/jira/browse/PARQUET-850). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit der Untersuchung von MessageType und der Klassenhierarchie von Type, um zu bestimmen, welche Schemaklassen Serialisierungsunterstützung benötigen, und suche anschließend im Repository nach vorhandenen Serialisierungstests. Als abgeschlossen gilt die Aufgabe, wenn die relevanten Schemaobjekte für die Verwendung durch ParquetRDD serialisiert werden können, ohne bestehendes Verhalten zu beeinträchtigen, und Tests das Ergebnis abdecken.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.