apache / apache/parquet-java

parquet-cli broken in master

Offen
#2,657 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: CLI Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

Creating a Jira per this thread:

1. clone parquet-mr and build the repo locally
1. run parquet-cli without Hadoop (according to this ReadMe <> )
1. try a command that deserializes data such as cat or head
1. observe NoSuchMethodError being thrown

**Error stack:** ~/repos/parquet-mr/parquet-cli$ parquet cat ../../testdata/dictionaryEncodingSample.parquet WARNING: An illegal reflective access operation has occurred ...... Exception in thread "main" java.lang.NoSuchMethodError: 'org.apache.avro.Schema org.apache.parquet.avro.AvroSchemaConverter.convert(org.apache.parquet.schema.MessageType)' at org.apache.parquet.cli.util.Schemas.fromParquet(Schemas.java:89) at org.apache.parquet.cli.BaseCommand.getAvroSchema(BaseCommand.java:405) at org.apache.parquet.cli.commands.CatCommand.run(CatCommand.java:66) at org.apache.parquet.cli.Main.run(Main.java:157) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.parquet.cli.Main.main(Main.java:187)

**Environment**: ubuntu 18.04 and ubuntu 20.04
**Reporter**: [Balaji K](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=gamaken)

**Note**: *This issue was originally created as [PARQUET-2104](https://issues.apache.org/jira/browse/PARQUET-2104). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

parquet-java lokal bauen, die Anweisungen in der parquet-cli README zum Ausführen ohne Hadoop befolgen und den Fehler mit einem deserialisierenden Befehl wie cat oder head reproduzieren. Untersuche parquet-cli/util/Schemas.java in Zeile 89 und den NoSuchMethodError im Zusammenhang mit AvroSchemaConverter; abgeschlossen ist die Aufgabe, wenn diese Befehle ohne diesen Fehler ausgeführt werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
cli
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.