apache / apache/datafusion-python

Configure memory usage

Aperta
#514 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Python
Stelle
604
Fork
174
Merge medio
1g 7h
PR unite (30g)
4

Descrizione

I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?

Like `duckdb` has `"SET max_memory='1GB';"`

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia individuando la pull request precedente che ha aggiunto uno stato basato su disco per i dataset più grandi della memoria, quindi traccia il modo in cui gli utenti configurano le impostazioni di esecuzione nei binding Python. Definisci come deve comportarsi un limite di memoria configurabile dall’utente, inclusa la sua interazione con l’elaborazione basata su disco, e aggiungi una copertura che dimostri che il limite configurato viene rispettato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.