apache / apache/datafusion-python

aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

未關閉
#970 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
bug
主要語言
Python
星號
604
分支
174
平均合併
1 天 7 小時
30 天內合併 PR
4

描述

**Describe the bug**
Hi

I was trying to create external table from AWS S3 using examples from [Datafusion CLI docs](https://datafusion.apache.org/user-guide/cli/datasources.html#s3) and [SQL DDL docs](https://datafusion.apache.org/user-guide/sql/ddl.html#create-external-table), see **To Reproduce** section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

```Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")```

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

**To Reproduce**
```python
import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
create external table raw_data
stored as parquet
options
(
'aws.access_key_id' '***',
'aws.secret_access_key' '***',
'aws.region' 'eu-central-1'
)
location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()
```

**Expected behavior**
```create external table``` command works with ```aws.xxx``` options

**Additional context**
v 42.0.0

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

先執行使用 AWS 選項的 CREATE EXTERNAL TABLE 已回報 Python 重現,然後將其與 issue 中描述的可正常運作的 register_object_store 和 register_parquet 路徑進行比較。完成的標準是 SQL API 接受 aws.xxx 選項,並且能夠讀取相同的 S3 parquet 位置,這正是 DataFusion 42.0.0 的預期行為。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
aws, python, sql
領域
api, cloud, databases
Issue 類型
缺陷
難度
3/5
預估耗時
1-2 天
活躍度
停滯
描述清晰度
描述清楚
新手友好度
48/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。