Missing field id support in parquet metadata
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Field id is essential for some serialization framework such as protobuf, and they are used to keep schema forward/backward compatibility which could not be achieved by using field names. Currently field id is not persisted as file metadata.
**Reporter**: [Qinghui Xu](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=q.xu) / @qinghui-xu
#### PRs and other links:
- [GitHub Pull Request #410](https://github.com/apache/parquet-mr/pull/410)
**Note**: *This issue was originally created as [PARQUET-951](https://issues.apache.org/jira/browse/PARQUET-951). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par examiner Pull Request #410 et la documentation de migration liée, puis inspectez la manière dont les métadonnées des fichiers Parquet représentent actuellement les champs du schéma. Vérifiez si les identifiants de champ sont déjà traités ailleurs et utilisez les exigences de compatibilité de l’issue pour définir ce qui constitue un travail terminé ; le PR existant indique que ce travail a peut-être déjà avancé.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 25/100