apache / apache/parquet-java

Make MessageType serializable

Ouverte
#2,035 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Background: I'm writing `ParquetRDD` implementation to run on Apache Spark. One of the features I want to provide is the ability to create instance of `ParqeutRDD` with a projection (specify columns to be loaded)

Problem: Schema information is not serializable. Neither `MessageType` nor any other class that extends `Type` extends `Serializable`.

Question: Is there any specific reason why not to have it the `extends Serializable`?
If not, then I will be more then happy to provide PR.

**Reporter**: [Pawel Szulc](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=rabbitonweb)

**Note**: *This issue was originally created as [PARQUET-850](https://issues.apache.org/jira/browse/PARQUET-850). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par inspecter MessageType et la hiérarchie de classes de Type afin de déterminer quelles classes de schéma doivent prendre en charge la sérialisation, puis recherchez les tests de sérialisation existants dans le dépôt. Le travail est considéré comme terminé lorsque les objets de schéma concernés peuvent être sérialisés pour être utilisés avec ParquetRDD sans perturber le comportement existant, avec des tests couvrant le résultat.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.