apache / apache/parquet-java

Missing field id support in parquet metadata

Aperta
#2,051 5 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

Field id is essential for some serialization framework such as protobuf, and they are used to keep schema forward/backward compatibility which could not be achieved by using field names. Currently field id is not persisted as file metadata.

**Reporter**: [Qinghui Xu](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=q.xu) / @qinghui-xu
#### PRs and other links:
- [GitHub Pull Request #410](https://github.com/apache/parquet-mr/pull/410)

**Note**: *This issue was originally created as [PARQUET-951](https://issues.apache.org/jira/browse/PARQUET-951). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia esaminando Pull Request #410 e la documentazione sulla migrazione collegata, quindi verifica come i metadati dei file Parquet rappresentano attualmente i campi dello schema. Conferma se gli identificatori dei campi sono già gestiti altrove e usa i requisiti di compatibilità dell’issue per definire quando il lavoro può considerarsi completato; il PR esistente indica che questo lavoro potrebbe essere già avanzato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.