[Java] Unable to read S3 files using Arrow Dataset
- Lenguaje dominante
- Java
- Estrellas
- 94
- Forks
- 152
- Merge medio
- 3 d 16 h
- PR fusionados (30 d)
- 11
Descripción
### Describe the usage question you have. Please include as many useful details as possible.
Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.
```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```
### Component(s)
Java
Guía de contribución
Línea de trabajo
Comienza con la construcción del dataset de S3 en ParquetFileToArrowReader.java y los FileSystemDatasetFactory stack frames; después, revisa cómo la Java API resuelve la región del bucket e informa de los errores de red de AWS. Reproduce el fallo con las credenciales indicadas y determina la configuración necesaria; se considera terminado cuando los archivos de S3 se puedan leer sin el error NETWORK_CONNECTION.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- aws, java
- Área
- cloud, data
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100