localstack / localstack/localstack-python-client

when using S3fs with localstack error is thrown about keys

Aperta
#51 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Lingua principale
Python
Stelle
191
Fork
31
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

using enable_local_endpoints()

the following error is thrown when uploading to s3 with pandas and S3FS

```
024-03-06 11:28:48.862 | ERROR | tests.integration.test_pipelines:test_analytics:124 - An error has been caught in function 'test_analytics', process 'MainProcess' (9286), thread 'MainThread' (7997807680):
Traceback (most recent call last):

File "/Users/johnharrison/git/database_flattening/venv/lib/python3.10/site-packages/s3fs/core.py", line 113, in _error_wrapper
return await func(*args, **kwargs)
│ │ └ {'Key': 'main/monitoring/analytics/mongo_query_date=2024-03-05 00:00:00/2024-03-05 00:00:00.csv', 'Bucket': 'ds-spectrum-tabl...
│ └ ()
└ ._api_call of >
File "/Users/johnharrison/git/database_flattening/venv/lib/python3.10/site-packages/aiobotocore/client.py", line 408, in _make_api_call
raise error_class(parsed_response, operation_name)
│ │ └ 'PutObject'
│ └ {'Error': {'Code': 'InvalidAccessKeyId', 'Message': 'The AWS Access Key Id you provided does not exist in our records.', 'AWS...

botocore.exceptions.ClientError: An error occurred (InvalidAccessKeyId) when calling the PutObject operation: The AWS Access Key Id you provided does not exist in our records.

The above exception was the direct cause of the following exception:

```

sample code to test this

```
isna__sum.to_csv( f's3://tables/main/monitoring/analytics/{start_date}.csv')
```

error seems to be coming from **aiobotocore**

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia riproducendo l'upload pandas to_csv segnalato dopo aver chiamato enable_local_endpoints(), usando la configurazione LocalStack S3 e il traceback InvalidAccessKeyId di aiobotocore come punto di partenza. Non vengono indicati file del progetto né test; il lavoro è concluso quando l'upload riesce verso LocalStack senza l'errore relativo alle credenziali.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, pandas, python
Ambito
cloud
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.