apache / apache/parquet-java

TransCompressionCommand Inoperable

Offen
#2,552 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Blocker Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

`TransCompressionCommand` in parquet-tools is intended to allow translation of compression types in parquet files.  We are intending to use this functionality to debug a corrupted file, but this command fails to run at the moment entirely. 

Running the following command (on the uncorrupted file):
```java

java -jar ./parquet-tools-1.11.1.jar trans-compression ~/Downloads/part-00048-69f65188-94b5-4772-8906-5c78989240b5_00048.c000.snappy.parquet
```
This results in 

 
```java

Unknown command: trans-compression
```
 

I believe this is due to the Registry class [silently catching any errors to initialize](https://github.com/apache/parquet-mr/blob/master/parquet-tools/src/main/java/org/apache/parquet/tools/command/Registry.java#L65) which subsequently is [misinterpreted as an unknown command](https://github.com/apache/parquet-mr/blob/master/parquet-tools/src/main/java/org/apache/parquet/tools/Main.java#L200).

We need to: 
1. Write a test for the TransCompressionCommand to figure out why it's showing up as unknown command
1. Probably expand these tests to cover all the other commands

 

This will then unblock our debugging work on the suspect file. 

**Environment**: I am using parquet-tools 1.11.1 on a Mac machine running Catalina, and my parquet-tools jar was downloaded from Maven Central. 
**Reporter**: [Shelby Vanhooser](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=vanhooser)

**Note**: *This issue was originally created as [PARQUET-1948](https://issues.apache.org/jira/browse/PARQUET-1948). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne in parquet-tools/src/main/java/org/apache/parquet/tools/command/Registry.java und org/apache/parquet/tools/Main.java und führe dann den gemeldeten trans-compression-Befehl aus, um das unknown-command-Ergebnis zu reproduzieren. Füge einen Test für TransCompressionCommand hinzu und erweitere die Abdeckung auf die anderen Befehle, falls zutreffend; als erledigt gilt die Aufgabe, wenn der Befehl erkannt wird und die Tests erklären, warum er zuvor fehlgeschlagen ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
cli
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.