apache / apache/arrow-java

[Java] Unable to read S3 files using Arrow Dataset

未關閉
#219 3 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
Type: usage
主要語言
Java
星號
94
分支
152
平均合併
3 天 16 小時
30 天內合併 PR
11

描述

### Describe the usage question you have. Please include as many useful details as possible.

Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.

```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```

### Component(s)

Java

貢獻指南

開啟貢獻指南

研究方向

先從 ParquetFileToArrowReader.java 中的 S3 資料集建構以及 FileSystemDatasetFactory stack frames 著手,然後檢查 Java API 如何解析 bucket region 並回報 AWS 網路錯誤。使用回報中的認證資訊重現此故障,並確定所需的設定;當 S3 檔案可以在不出現 NETWORK_CONNECTION 錯誤的情況下讀取時,即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
aws, java
領域
cloud, data
Issue 類型
缺陷
難度
4/5
預估耗時
3-5 天
活躍度
停滯
描述清晰度
需要釐清
新手友好度
25/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。