apache / apache/parquet-java

Local timestamps fields for Avro schema are not supported

Offen
#1,665 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Avro Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Avro schema supports the creation of local timestampe fields:
```java

LocalTimestampMillis datetimeType = LogicalTypes.localTimestampMillis();
field = new Schema.Field(attrDesc.getAttributeName(), Schema.createUnion(datetimeType.addToSchema(Schema.create(Schema.Type.LONG), Schema.create(Schema.Type.NULL)), doc, null);
```
But since there is no support in the AvroSchemaConverter.convertLogicalType method, these fields end up as BIGINT (as reported in e.g. Apache Drill).

**Reporter**: [Stefan Ziegler](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=edi.gonzales)

**Note**: *This issue was originally created as [PARQUET-2315](https://issues.apache.org/jira/browse/PARQUET-2315). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie bei AvroSchemaConverter.convertLogicalType, dem im Issue genannten Einstiegspunkt, und verfolgen Sie, wie logische Typen von localTimestampMillis derzeit konvertiert werden. Bestätigen Sie die Änderung, indem Sie prüfen, dass Felder mit lokalen Zeitstempeln als Zeitstempel statt als BIGINT dargestellt werden, einschließlich des im Issue beschriebenen Beispiels einer nullable union.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
52/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.