apache / apache/arrow-java

[Java] Unable to read S3 files using Arrow Dataset

Đang mở
#219 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Type: usage
Ngôn ngữ chính
Java
Star
94
Fork
152
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
11

Mô tả

### Describe the usage question you have. Please include as many useful details as possible.

Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.

```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```

### Component(s)

Java

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu với việc xây dựng dataset S3 trong ParquetFileToArrowReader.java và các FileSystemDatasetFactory stack frames, sau đó xem xét cách Java API phân giải region của bucket và báo cáo các lỗi mạng AWS. Tái hiện lỗi bằng thông tin xác thực đã được cung cấp và xác định cấu hình cần thiết; hoàn tất khi các tệp S3 có thể được đọc mà không gặp lỗi NETWORK_CONNECTION.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, java
Lĩnh vực
cloud, data
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.