Kaggle / Kaggle/kaggle-sdk-python

Shouldn't API client pass stream = True to the requests when downloading datasets?

オープン
#10 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
10
フォーク
7
PR マージ指標
30日以内にマージされた PR はありません

説明

Linking to the issue of the same name in kaggle-api:

https://github.com/Kaggle/kaggle-api/issues/754

I'm raising it here since the problematic code is now maintained in kagglesdk ([KaggleHttpClient.call](https://github.com/Kaggle/kagglesdk/blob/main/kagglesdk/kaggle_http_client.py#L73) is where I think this could be fixed).

TL;DR Not using `stream=True` in `requests` is causing entire datasets to be materialized in memory which makes it impossible to download anything of even a modest size.

I refer to the linked issue for more details but happy to expand the conversation here.

Tagging @leoauri and @i-aki-y for their visibility.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

kagglesdk/kaggle_http_client.py の KaggleHttpClient.call から始め、続いてデータセットのダウンロードの詳細について、リンク先の kaggle-api issue を読んでください。より大きなデータセットに対するクライアントのダウンロード動作を確認し、データセット全体をメモリ上に展開せずにレスポンスが処理されることを検証してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
api, backend
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。