Kaggle / Kaggle/kaggle-sdk-python
Shouldn't API client pass stream = True to the requests when downloading datasets?
- Lenguaje dominante
- Python
- Estrellas
- 10
- Forks
- 7
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Linking to the issue of the same name in kaggle-api:
https://github.com/Kaggle/kaggle-api/issues/754
I'm raising it here since the problematic code is now maintained in kagglesdk ([KaggleHttpClient.call](https://github.com/Kaggle/kagglesdk/blob/main/kagglesdk/kaggle_http_client.py#L73) is where I think this could be fixed).
TL;DR Not using `stream=True` in `requests` is causing entire datasets to be materialized in memory which makes it impossible to download anything of even a modest size.
I refer to the linked issue for more details but happy to expand the conversation here.
Tagging @leoauri and @i-aki-y for their visibility.
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza en kagglesdk/kaggle_http_client.py, en KaggleHttpClient.call, y después lee la issue enlazada de kaggle-api sobre los detalles de la descarga del dataset. Confirma el comportamiento de descarga del cliente para datasets grandes y verifica que las respuestas se gestionen sin materializar todo el dataset en memoria.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- api, backend
- Tipo de issue
- Error
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100