apache / apache/datafusion-python
aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location
- Ngôn ngữ chính
- Python
- Star
- 604
- Fork
- 174
- Merge trung bình
- 1 ngày 7 giờ
- Pull request đã merge (30 ngày)
- 4
Mô tả
**Describe the bug**
Hi
I was trying to create external table from AWS S3 using examples from [Datafusion CLI docs](https://datafusion.apache.org/user-guide/cli/datasources.html#s3) and [SQL DDL docs](https://datafusion.apache.org/user-guide/sql/ddl.html#create-external-table), see **To Reproduce** section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs
```Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")```
I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection
**To Reproduce**
```python
import datafusion
ctx = datafusion.SessionContext()
raw_data_df = ctx.sql(f"""
create external table raw_data
stored as parquet
options
(
'aws.access_key_id' '***',
'aws.secret_access_key' '***',
'aws.region' 'eu-central-1'
)
location 's3://some-bucket/some-folder/'
""")
raw_data_df.show()
```
**Expected behavior**
```create external table``` command works with ```aws.xxx``` options
**Additional context**
v 42.0.0
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Start by running the reported Python reproduction for CREATE EXTERNAL TABLE with the AWS options, then compare it with the working register_object_store and register_parquet path described in the issue. Done means the SQL API accepts the aws.xxx options and can read the same S3 parquet location, as expected for DataFusion 42.0.0.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, python, sql
- Lĩnh vực
- api, cloud, databases
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức phù hợp với người mới
- 48/100