apache / apache/arrow-java

[Java] Unable to read S3 files using Arrow Dataset

オープン
#219 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
Type: usage
主要言語
Java
スター
94
フォーク
152
平均マージ
3日 16時間
マージ済み PR(30日)
11

説明

### Describe the usage question you have. Please include as many useful details as possible.

Even though all aws credentials are set, getting below error while trying to read s3 files using Arrow Dataset Java API.
Please guide which are AWS properties needs to be set to work correctly.

```text
java.lang.RuntimeException: When resolving region for bucket : AWS Error NETWORK_CONNECTION during HeadBucket operation: Encountered network error when sending http request
at org.apache.arrow.dataset.file.JniWrapper.makeFileSystemDatasetFactory(Native Method)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.createNative(FileSystemDatasetFactory.java:35)
at org.apache.arrow.dataset.file.FileSystemDatasetFactory.(FileSystemDatasetFactory.java:31)
at com.arrow.dataset.ParquetFileToArrowReader.readS3Parquet(ParquetFileToArrowReader.java:114)
at com.arrow.dataset.ParquetFileToArrowReader.main(ParquetFileToArrowReader.java:36)
```

### Component(s)

Java

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

ParquetFileToArrowReader.java での S3 データセット構築と FileSystemDatasetFactory stack frames から始め、次に Java API がバケットリージョンをどのように解決し、AWS ネットワークエラーを報告するかを確認します。報告された認証情報で障害を再現し、必要な設定を特定します。S3 ファイルを NETWORK_CONNECTION エラーなしで読み取れるようになれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, java
領域
cloud, data
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。