parquet-cli not working in release 1.12.0
- Lenguaje dominante
- Java
- Estrellas
- 3.1k
- Forks
- 1.6k
- Merge medio
- 3 d 12 h
- PR fusionados (30 d)
- 33
Descripción
When I run parquet-cli getting java.lang.NoSuchMethodError
Steps to repdouce:
1. Download parquet-mr 1.12.0 from
1. Build and install using mvn clean install
1. cd parquet-cli
1. `mvn dependency:copy-dependencies`
1. `java -cp 'target/*:target/dependency/*' org.apache.parquet.cli.Main head `
1. Got below exception
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil ([file:/home/amsundar/hgroot/parquet-mr-apache-parquet-1.12.0/parquet-cli/target/dependency/hadoop-auth-2.10.1.jar\|file://home/amsundar/hgroot/parquet-mr-apache-parquet-1.12.0/parquet-cli/target/dependency/hadoop-auth-2.10.1.jar]) to method sun.security.krb5.Config.getInstance()
WARNING: Please consider reporting this to the maintainers of org.apache.hadoop.security.authentication.util.KerberosUtil
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.parquet.avro.AvroSchemaConverter.convert(Lorg/apache/parquet/schema/MessageType;)Lorg/apache/avro/Schema;
at org.apache.parquet.cli.util.Schemas.fromParquet(Schemas.java:89)
at org.apache.parquet.cli.BaseCommand.getAvroSchema(BaseCommand.java:405)
at org.apache.parquet.cli.commands.CatCommand.run(CatCommand.java:66)
at org.apache.parquet.cli.Main.run(Main.java:155)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.parquet.cli.Main.main(Main.java:185)
**Reporter**: [Akshay Sundarraj](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=akshaysu)
#### Original Issue Attachments:
- [sample.parquet](https://issues.apache.org/jira/secure/attachment/13030721/sample.parquet)
- [sample.schema](https://issues.apache.org/jira/secure/attachment/13030722/sample.schema)
**Note**: *This issue was originally created as [PARQUET-2065](https://issues.apache.org/jira/browse/PARQUET-2065). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza reproduciendo el fallo con los comandos de Maven indicados y sample.parquet; después, inspecciona parquet-cli/util/Schemas.java en la llamada a fromParquet y la API de AvroSchemaConverter implicada en NoSuchMethodError. Se considera terminado cuando el comando de parquet-cli se completa correctamente con el archivo de ejemplo proporcionado sin esta excepción.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- java
- Área
- cli
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 35/100