apache / apache/parquet-java

parquet-cli not working in release 1.12.0

Aperta
#2,630 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: CLI Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

When I run parquet-cli getting  java.lang.NoSuchMethodError

Steps to repdouce:
1. Download parquet-mr 1.12.0 from
1. Build and install using mvn clean install
1. cd parquet-cli
1. `mvn dependency:copy-dependencies`
1. `java -cp 'target/*:target/dependency/*' org.apache.parquet.cli.Main head `
1. Got below exception

WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil ([file:/home/amsundar/hgroot/parquet-mr-apache-parquet-1.12.0/parquet-cli/target/dependency/hadoop-auth-2.10.1.jar\|file://home/amsundar/hgroot/parquet-mr-apache-parquet-1.12.0/parquet-cli/target/dependency/hadoop-auth-2.10.1.jar]) to method sun.security.krb5.Config.getInstance()
WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.parquet.avro.AvroSchemaConverter.convert(Lorg/apache/parquet/schema/MessageType;)Lorg/apache/avro/Schema;
at org.apache.parquet.cli.util.Schemas.fromParquet(Schemas.java:89)
at org.apache.parquet.cli.BaseCommand.getAvroSchema(BaseCommand.java:405)
at org.apache.parquet.cli.commands.CatCommand.run(CatCommand.java:66)
at org.apache.parquet.cli.Main.run(Main.java:155)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.parquet.cli.Main.main(Main.java:185)

 

 

**Reporter**: [Akshay Sundarraj](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=akshaysu)
#### Original Issue Attachments:
- [sample.parquet](https://issues.apache.org/jira/secure/attachment/13030721/sample.parquet)
- [sample.schema](https://issues.apache.org/jira/secure/attachment/13030722/sample.schema)

**Note**: *This issue was originally created as [PARQUET-2065](https://issues.apache.org/jira/browse/PARQUET-2065). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia riproducendo il malfunzionamento con i comandi Maven elencati e sample.parquet, quindi esamina parquet-cli/util/Schemas.java nella chiamata a fromParquet e l’API AvroSchemaConverter coinvolta in NoSuchMethodError. Il lavoro è completato quando il comando parquet-cli viene eseguito correttamente sul file di esempio fornito senza questa eccezione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
cli
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.