apache / apache/datafusion-python

aws.XXX options are not recognized in SQL API for CREATE EXTERNAL TABLE with AWS S3 location

Ouverte
#970 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
bug
Langage dominant
Python
Étoiles
604
Forks
174
Merge moyen
1 j 7 h
PR mergées (30 j)
4

Description

**Describe the bug**
Hi

I was trying to create external table from AWS S3 using examples from [Datafusion CLI docs](https://datafusion.apache.org/user-guide/cli/datasources.html#s3) and [SQL DDL docs](https://datafusion.apache.org/user-guide/sql/ddl.html#create-external-table), see **To Reproduce** section below. But looks like AWS-specific options for external tables doesn't work with SQL API in the same way as it described in CLI docs

```Exception: DataFusion error: Configuration("Could not find config namespace \"aws\"")```

I can successfully register and read the same parquet with the same credentials via register_object_store + register_parquet functions, so there's no problem with the data or S3 connection

**To Reproduce**
```python
import datafusion

ctx = datafusion.SessionContext()

raw_data_df = ctx.sql(f"""
create external table raw_data
stored as parquet
options
(
'aws.access_key_id' '***',
'aws.secret_access_key' '***',
'aws.region' 'eu-central-1'
)
location 's3://some-bucket/some-folder/'
""")

raw_data_df.show()
```

**Expected behavior**
```create external table``` command works with ```aws.xxx``` options

**Additional context**
v 42.0.0

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par exécuter la reproduction Python signalée pour CREATE EXTERNAL TABLE avec les options AWS, puis comparez-la avec le chemin fonctionnel register_object_store et register_parquet décrit dans l’issue. Le travail est considéré comme terminé lorsque la SQL API accepte les options aws.xxx et peut lire le même emplacement parquet sur S3, comme prévu pour DataFusion 42.0.0.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
aws, python, sql
Domaine
api, cloud, databases
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
48/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.