[Java] Unable to read S3 files using Arrow Dataset
- Langage dominant
- Java
- Étoiles
- 94
- Forks
- 152
- Merge moyen
- 3 j 16 h
- PR mergées (30 j)
- 11
Description
### Describe the usage question you have. Please include as many useful details as possible.
Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.
```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```
### Component(s)
Java
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par la construction du dataset S3 dans ParquetFileToArrowReader.java et les FileSystemDatasetFactory stack frames, puis examinez la manière dont la Java API résout la région du bucket et signale les erreurs réseau AWS. Reproduisez l’échec avec les identifiants indiqués et déterminez la configuration requise ; le travail est terminé lorsque les fichiers S3 peuvent être lus sans l’erreur NETWORK_CONNECTION.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- aws, java
- Domaine
- cloud, data
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100