apache / apache/parquet-java

Cannot read parquet file that was generated from nanoparquet

Ouverte
#3,043 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

### Describe the bug, including details regarding any error messages, version, and platform.

When trying to use `MessageColumnIO` to get a record reader, the following error occurs:
```
Exception in thread "main" java.lang.UnsupportedOperationException
at org.apache.parquet.column.values.ValuesReader.readInteger(ValuesReader.java:178)
at org.apache.parquet.column.impl.ColumnReaderBase$ValuesReaderIntIterator.nextInt(ColumnReaderBase.java:830)
at org.apache.parquet.column.impl.ColumnReaderBase.checkRead(ColumnReaderBase.java:663)
at org.apache.parquet.column.impl.ColumnReaderBase.consume(ColumnReaderBase.java:801)
at org.apache.parquet.column.impl.ColumnReaderImpl.consume(ColumnReaderImpl.java:30)
at org.apache.parquet.column.impl.ColumnReaderImpl.(ColumnReaderImpl.java:43)
at org.apache.parquet.column.impl.ColumnReadStoreImpl.getColumnReader(ColumnReadStoreImpl.java:80)
at org.apache.parquet.io.RecordReaderImplementation.(RecordReaderImplementation.java:282)
at org.apache.parquet.io.MessageColumnIO$1.visit(MessageColumnIO.java:141)
at org.apache.parquet.io.MessageColumnIO$1.visit(MessageColumnIO.java:105)
at org.apache.parquet.filter2.compat.FilterCompat$NoOpFilter.accept(FilterCompat.java:180)
at org.apache.parquet.io.MessageColumnIO.getRecordReader(MessageColumnIO.java:105)
```

I expected that this would work. Pyarrow for example can read the file.

Sample file can be found here:

[mtcars_np.zip](https://github.com/user-attachments/files/17649331/mtcars_np.zip)

Nanoparquet can be found here:

https://github.com/r-lib/nanoparquet

Version: 1.14.3
Platform: Linux

### Component(s)

Core

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par la stack trace à org.apache.parquet.column.values.ValuesReader.readInteger et par le chemin de lecture des entiers de ColumnReaderBase, en utilisant le fichier mtcars_np.zip lié comme cas de reproduction. Examinez les métadonnées d’encodage du fichier et comparez-les à ce que parquet-java 1.14.3 attend ; le travail est terminé lorsque MessageColumnIO peut lire le fichier généré par nanoparquet sans UnsupportedOperationException.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.