The error message "is not a Parquet file" doesn't show the Parquet path anymore
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
### Describe the bug, including details regarding any error messages, version, and platform.
Version 1.13.1, used by Spark 3.5: https://github.com/apache/parquet-java/blob/db4183109d5b734ec5930d870cdae161e408ddba/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileReader.java#L548
used to show the parquet file path: `Cause: java.lang.RuntimeException: file:/tmp/spark-37..../00000000000000000000.checkpoint.parquet is not a Parquet file (length is too low: 10)`
In version 1.15.2, used by Spark 4: https://github.com/apache/parquet-java/blob/859eac165b08f927fa14590c33bc5f476405fb68/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileReader.java#L584
The error message says: `Cause: java.lang.RuntimeException: io.delta.kernel.defaults.internal.parquet.ParquetIOUtils$1@63d4ffeb is not a Parquet file (length is too low: 10)`
### Component(s)
_No response_
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par comparer les emplacements liés de ParquetFileReader.java des versions 1.13.1 et 1.15.2, en vous concentrant sur la manière dont le message d’erreur obtient le chemin. Reproduisez le cas signalé du fichier court en utilisant le chemin parquet indiqué et vérifiez que l’exception résultante identifie ce chemin plutôt que la représentation de l’objet ParquetIOUtils.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Activité
- Calme
- Clarté
- Clairement spécifiée
- Accessibilité débutants
- 68/100