when using S3fs with localstack error is thrown about keys

Đang mở
#51 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
aws, pandas, python
Lĩnh vực
cloud

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện thao tác tải lên pandas to_csv đã được báo cáo sau khi gọi enable_local_endpoints(), sử dụng thiết lập LocalStack S3 và traceback InvalidAccessKeyId của aiobotocore làm điểm bắt đầu. Không có tệp dự án hoặc bài kiểm thử nào được nêu tên; hoàn tất có nghĩa là thao tác tải lên thành công tới LocalStack mà không gặp lỗi thông tin xác thực.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

using enable_local_endpoints()

the following error is thrown when uploading to s3 with pandas and S3FS

024-03-06 11:28:48.862 | ERROR    | tests.integration.test_pipelines:test_analytics:124 - An error has been caught in function 'test_analytics', process 'MainProcess' (9286), thread 'MainThread' (7997807680):
Traceback (most recent call last):

  File "/Users/johnharrison/git/database_flattening/venv/lib/python3.10/site-packages/s3fs/core.py", line 113, in _error_wrapper
    return await func(*args, **kwargs)
                 │     │       └ {'Key': 'main/monitoring/analytics/mongo_query_date=2024-03-05 00:00:00/2024-03-05 00:00:00.csv', 'Bucket': 'ds-spectrum-tabl...
                 │     └ ()
                 └ <bound method ClientCreator._create_api_method.<locals>._api_call of <aiobotocore.client.S3 object at 0x14fe17280>>
  File "/Users/johnharrison/git/database_flattening/venv/lib/python3.10/site-packages/aiobotocore/client.py", line 408, in _make_api_call
    raise error_class(parsed_response, operation_name)
          │           │                └ 'PutObject'
          │           └ {'Error': {'Code': 'InvalidAccessKeyId', 'Message': 'The AWS Access Key Id you provided does not exist in our records.', 'AWS...
          └ <class 'botocore.exceptions.ClientError'>

botocore.exceptions.ClientError: An error occurred (InvalidAccessKeyId) when calling the PutObject operation: The AWS Access Key Id you provided does not exist in our records.


The above exception was the direct cause of the following exception:

sample code to test this

isna__sum.to_csv( f's3://tables/main/monitoring/analytics/{start_date}.csv')

error seems to be coming from aiobotocore

Ngôn ngữ chính
Python
Star
191
Fork
31
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của localstack/localstack-python-client

Tất cả issue của localstack/localstack-python-client

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.