[Java] Unable to read S3 files using Arrow Dataset
- 主要言語
- Java
- スター
- 94
- フォーク
- 152
- 平均マージ
- 3日 16時間
- マージ済み PR(30日)
- 11
説明
### Describe the usage question you have. Please include as many useful details as possible.
Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.
```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```
### Component(s)
Java
コントリビューションガイド
調査の方向性
ParquetFileToArrowReader.java での S3 データセット構築と FileSystemDatasetFactory stack frames から始め、次に Java API がバケットリージョンをどのように解決し、AWS ネットワークエラーを報告するかを確認します。報告された認証情報で障害を再現し、必要な設定を特定します。S3 ファイルを NETWORK_CONNECTION エラーなしで読み取れるようになれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- aws, java
- 領域
- cloud, data
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100