apache / apache/parquet-java

[CPP] Unable to read files written by parquet-cpp from parquet-tools

Aperta
#2,033 12 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

I could not read files written by parquet-cpp from parquet-tools and Hive.
Setting field ids in the schema metadata seems to be the problem. We should make setting the field_id optional.

**Reporter**: [Deepak Majeti](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=mdeepak) / @majetideepak
#### Original Issue Attachments:
- [parquet_cpp_example.parquet](https://issues.apache.org/jira/secure/attachment/12849181/parquet_cpp_example.parquet)

**Note**: *This issue was originally created as [PARQUET-838](https://issues.apache.org/jira/browse/PARQUET-838). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia riproducendo il problema con il file allegato parquet_cpp_example.parquet usando parquet-tools e Hive, quindi esamina come vengono scritti gli ID dei campi nei metadati dello schema di parquet-java. Il lavoro è completato quando i file scritti da parquet-cpp possono essere letti da parquet-tools e Hive se gli ID dei campi non sono richiesti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
cpp, java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.