apache / apache/parquet-java

Local timestamps fields for Avro schema are not supported

Aperta
#1,665 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Avro Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

Avro schema supports the creation of local timestampe fields:
```java

LocalTimestampMillis datetimeType = LogicalTypes.localTimestampMillis();
field = new Schema.Field(attrDesc.getAttributeName(), Schema.createUnion(datetimeType.addToSchema(Schema.create(Schema.Type.LONG), Schema.create(Schema.Type.NULL)), doc, null);
```
But since there is no support in the AvroSchemaConverter.convertLogicalType method, these fields end up as BIGINT (as reported in e.g. Apache Drill).

**Reporter**: [Stefan Ziegler](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=edi.gonzales)

**Note**: *This issue was originally created as [PARQUET-2315](https://issues.apache.org/jira/browse/PARQUET-2315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia da AvroSchemaConverter.convertLogicalType, il punto di ingresso indicato nell’issue, e segui come vengono attualmente convertiti i tipi logici localTimestampMillis. Conferma la modifica verificando che i campi timestamp locali siano rappresentati come timestamp anziché come BIGINT, incluso l’esempio di nullable union descritto nell’issue.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
52/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.