apache / apache/datafusion-python
Configure memory usage
- Lenguaje dominante
- Python
- Estrellas
- 604
- Forks
- 174
- Merge medio
- 1 d 7 h
- PR fusionados (30 d)
- 4
Descripción
I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?
Like `duckdb` has `"SET max_memory='1GB';"`
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Comienza localizando el pull request anterior que añadió estado respaldado por disco para conjuntos de datos mayores que la memoria, y luego rastrea cómo configuran los usuarios los ajustes de ejecución en los bindings de Python. Define cómo debe comportarse un límite de memoria configurable por el usuario, incluida su interacción con el procesamiento respaldado por disco, y añade cobertura que demuestre que se respeta el límite configurado.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 30/100