Kaggle / Kaggle/kaggle-sdk-python
Shouldn't API client pass stream = True to the requests when downloading datasets?
- Ngôn ngữ chính
- Python
- Star
- 10
- Fork
- 7
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Linking to the issue of the same name in kaggle-api:
https://github.com/Kaggle/kaggle-api/issues/754
I'm raising it here since the problematic code is now maintained in kagglesdk ([KaggleHttpClient.call](https://github.com/Kaggle/kagglesdk/blob/main/kagglesdk/kaggle_http_client.py#L73) is where I think this could be fixed).
TL;DR Not using `stream=True` in `requests` is causing entire datasets to be materialized in memory which makes it impossible to download anything of even a modest size.
I refer to the linked issue for more details but happy to expand the conversation here.
Tagging @leoauri and @i-aki-y for their visibility.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu trong kagglesdk/kaggle_http_client.py tại KaggleHttpClient.call, sau đó đọc issue kaggle-api được liên kết để biết chi tiết về việc tải xuống dataset. Xác nhận hành vi tải xuống của client đối với các dataset lớn hơn và kiểm tra rằng các response được xử lý mà không materialize toàn bộ dataset trong bộ nhớ.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- api, backend
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 45/100