Kaggle / Kaggle/kaggle-sdk-python
Shouldn't API client pass stream = True to the requests when downloading datasets?
- 主要言語
- Python
- スター
- 10
- フォーク
- 7
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Linking to the issue of the same name in kaggle-api:
https://github.com/Kaggle/kaggle-api/issues/754
I'm raising it here since the problematic code is now maintained in kagglesdk ([KaggleHttpClient.call](https://github.com/Kaggle/kagglesdk/blob/main/kagglesdk/kaggle_http_client.py#L73) is where I think this could be fixed).
TL;DR Not using `stream=True` in `requests` is causing entire datasets to be materialized in memory which makes it impossible to download anything of even a modest size.
I refer to the linked issue for more details but happy to expand the conversation here.
Tagging @leoauri and @i-aki-y for their visibility.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
kagglesdk/kaggle_http_client.py の KaggleHttpClient.call から始め、続いてデータセットのダウンロードの詳細について、リンク先の kaggle-api issue を読んでください。より大きなデータセットに対するクライアントのダウンロード動作を確認し、データセット全体をメモリ上に展開せずにレスポンスが処理されることを検証してください。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- api, backend
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100