apache / apache/arrow-java

[Java] Unable to read S3 files using Arrow Dataset

Abierto
#219 3 comentarios 0 reacciones 0 asignados Ver en GitHub
Type: usage
Lenguaje dominante
Java
Estrellas
94
Forks
152
Merge medio
3 d 16 h
PR fusionados (30 d)
11

Descripción

### Describe the usage question you have. Please include as many useful details as possible.

Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.

```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```

### Component(s)

Java

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza con la construcción del dataset de S3 en ParquetFileToArrowReader.java y los FileSystemDatasetFactory stack frames; después, revisa cómo la Java API resuelve la región del bucket e informa de los errores de red de AWS. Reproduce el fallo con las credenciales indicadas y determina la configuración necesaria; se considera terminado cuando los archivos de S3 se puedan leer sin el error NETWORK_CONNECTION.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
aws, java
Área
cloud, data
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.