apache / apache/datafusion-python

Configure memory usage

Ouverte
#514 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
bug
Langage dominant
Python
Étoiles
604
Forks
174
Merge moyen
1 j 7 h
PR mergées (30 j)
4

Description

I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?

Like `duckdb` has `"SET max_memory='1GB';"`

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par localiser la pull request précédente qui a ajouté un état adossé au disque pour les jeux de données plus grands que la mémoire, puis retracez la manière dont les utilisateurs configurent les paramètres d’exécution dans les bindings Python. Définissez le comportement attendu d’une limite de mémoire configurable par l’utilisateur, notamment son interaction avec le traitement adossé au disque, et ajoutez une couverture montrant que la limite configurée est respectée.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
30/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.