Better exception when files are unaccessible
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
In some cases the Hadoop filesystem API will throw NullPointerException when trying to access files that have moved.
We'd want to catch those and give a better error message.
```
Caused by: java.lang.NullPointerException
at org.apache.hadoop.fs.FileSystem.globStatus(FileSystem.java:1043)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:211)
at parquet.hadoop.ParquetInputFormat.listStatus(ParquetInputFormat.java:395)
at parquet.hadoop.ParquetInputFormat.getFooters(ParquetInputFormat.java:443)
at parquet.hadoop.ParquetInputFormat.getGlobalMetaData(ParquetInputFormat.java:467)
```
**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Note**: *This issue was originally created as [PARQUET-20](https://issues.apache.org/jira/browse/PARQUET-20). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par suivre parquet.hadoop.ParquetInputFormat.listStatus, getFooters et getGlobalMetaData en les comparant aux appels Hadoop FileSystem.globStatus et FileInputFormat.listStatus affichés dans la stack trace. Déterminez où les fichiers inaccessibles ou déplacés se manifestent sous la forme d’une NullPointerException, puis vérifiez que l’échec qui en résulte signale plutôt une erreur utile ; l’issue ne nomme aucun fichier de test.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 30/100