apache / apache/datafusion-python
Configure memory usage
- Langage dominant
- Python
- Étoiles
- 604
- Forks
- 174
- Merge moyen
- 1 j 7 h
- PR mergées (30 j)
- 4
Description
I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?
Like `duckdb` has `"SET max_memory='1GB';"`
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par localiser la pull request précédente qui a ajouté un état adossé au disque pour les jeux de données plus grands que la mémoire, puis retracez la manière dont les utilisateurs configurent les paramètres d’exécution dans les bindings Python. Définissez le comportement attendu d’une limite de mémoire configurable par l’utilisateur, notamment son interaction avec le traitement adossé au disque, et ajoutez une couverture montrant que la limite configurée est respectée.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 30/100