apache / apache/parquet-java

Missing field id support in parquet metadata

Ouverte
#2,051 5 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Field id is essential for some serialization framework such as protobuf, and they are used to keep schema forward/backward compatibility which could not be achieved by using field names. Currently field id is not persisted as file metadata.

**Reporter**: [Qinghui Xu](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=q.xu) / @qinghui-xu
#### PRs and other links:
- [GitHub Pull Request #410](https://github.com/apache/parquet-mr/pull/410)

**Note**: *This issue was originally created as [PARQUET-951](https://issues.apache.org/jira/browse/PARQUET-951). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par examiner Pull Request #410 et la documentation de migration liée, puis inspectez la manière dont les métadonnées des fichiers Parquet représentent actuellement les champs du schéma. Vérifiez si les identifiants de champ sont déjà traités ailleurs et utilisez les exigences de compatibilité de l’issue pour définir ce qui constitue un travail terminé ; le PR existant indique que ce travail a peut-être déjà avancé.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.