apache / apache/datafusion-python

aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

Đang mở
#970 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
bug
Ngôn ngữ chính
Python
Star
604
Fork
174
Merge trung bình
1 ngày 7 giờ
Pull request đã merge (30 ngày)
4

Mô tả

**Describe the bug**
Hi

I was trying to create external table from AWS S3 using examples from [Datafusion CLI docs](https://datafusion.apache.org/user-guide/cli/datasources.html#s3) and [SQL DDL docs](https://datafusion.apache.org/user-guide/sql/ddl.html#create-external-table), see **To Reproduce** section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

```Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")```

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

**To Reproduce**
```python
import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
create external table raw_data
stored as parquet
options
(
'aws.access_key_id' '***',
'aws.secret_access_key' '***',
'aws.region' 'eu-central-1'
)
location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()
```

**Expected behavior**
```create external table``` command works with ```aws.xxx``` options

**Additional context**
v 42.0.0

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Start by running the reported Python reproduction for CREATE EXTERNAL TABLE with the AWS options, then compare it with the working register_object_store and register_parquet path described in the issue. Done means the SQL API accepts the aws.xxx options and can read the same S3 parquet location, as expected for DataFusion 42.0.0.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, python, sql
Lĩnh vực
api, cloud, databases
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Đặc tả rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.