apache / apache/parquet-java

parquet-tools cat command does not consider logical type

Offen
#2,547 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Critical Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

The parquet-tools cat command doesn't format timestamps, outputting them as numbers instead.  The parquet-tools dump command does format as timestamps, so the code has been written.

Using the attached file:

$ java -jar parquet-tools-.jar cat -j datetime_utc_adjust.parquet
{"ID":1,"DT":1604297946277} 

$ java -jar parquet-tools-.jar dump datetime_utc_adjust.parquet

...

INT32 ID
--------------------------------------------------------------------------------
\*\*\* row group 1 of 1, values 1 to 1 \*\*\*
value 1: R:0 D:1 V:1INT64 DT
--------------------------------------------------------------------------------
\*\*\* row group 1 of 1, values 1 to 1 \*\*\*
value 1: R:0 D:1 V:2020-11-02T06:19:06.277

 

**Reporter**: [john lilley](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=john.lilley@redpoint.net)
#### Original Issue Attachments:
- [datetime_utc_adjust.parquet](https://issues.apache.org/jira/secure/attachment/13014585/datetime_utc_adjust.parquet)

**Note**: *This issue was originally created as [PARQUET-1943](https://issues.apache.org/jira/browse/PARQUET-1943). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit den Einstiegspunkten der parquet-tools-Befehle cat und dump und reproduziere das Problem mit der angehängten Datei datetime_utc_adjust.parquet. Vergleiche, wie jeder Befehl den logischen Typ timestamp verarbeitet; abgeschlossen ist die Aufgabe, wenn cat -j den timestamp in derselben formatierten Form wie dump und nicht als numerischen Wert ausgibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
cli
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
55/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.