localstack / localstack/localstack-python-client
when using S3fs with localstack error is thrown about keys
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Python
- Star
- 191
- Fork
- 31
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
using enable_local_endpoints()
the following error is thrown when uploading to s3 with pandas and S3FS
```
024-03-06 11:28:48.862 | ERROR | tests.integration.test_pipelines:test_analytics:124 - An error has been caught in function 'test_analytics', process 'MainProcess' (9286), thread 'MainThread' (7997807680):
Traceback (most recent call last):
File "/Users/johnharrison/git/database_flattening/venv/lib/python3.10/site-packages/s3fs/core.py", line 113, in _error_wrapper
return await func(*args, **kwargs)
│ │ └ {'Key': 'main/monitoring/analytics/mongo_query_date=2024-03-05 00:00:00/2024-03-05 00:00:00.csv', 'Bucket': 'ds-spectrum-tabl...
│ └ ()
└ ._api_call of >
File "/Users/johnharrison/git/database_flattening/venv/lib/python3.10/site-packages/aiobotocore/client.py", line 408, in _make_api_call
raise error_class(parsed_response, operation_name)
│ │ └ 'PutObject'
│ └ {'Error': {'Code': 'InvalidAccessKeyId', 'Message': 'The AWS Access Key Id you provided does not exist in our records.', 'AWS...
└
botocore.exceptions.ClientError: An error occurred (InvalidAccessKeyId) when calling the PutObject operation: The AWS Access Key Id you provided does not exist in our records.
The above exception was the direct cause of the following exception:
```
sample code to test this
```
isna__sum.to_csv( f's3://tables/main/monitoring/analytics/{start_date}.csv')
```
error seems to be coming from **aiobotocore**
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện thao tác tải lên pandas to_csv đã được báo cáo sau khi gọi enable_local_endpoints(), sử dụng thiết lập LocalStack S3 và traceback InvalidAccessKeyId của aiobotocore làm điểm bắt đầu. Không có tệp dự án hoặc bài kiểm thử nào được nêu tên; hoàn tất có nghĩa là thao tác tải lên thành công tới LocalStack mà không gặp lỗi thông tin xác thực.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, pandas, python
- Lĩnh vực
- cloud
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100