CouncilDataProject / CouncilDataProject/cdp-data
Prototype delayed dask dataframes for better computation scaling
- Lingua principale
- Jupyter Notebook
- Stelle
- 5
- Fork
- 4
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Currently all computation is multithreaded by default and that doesn't leave a lot of room to the user in terms of deciding how and when they want to actually gather data or compute a result.
The datasets module can easily be switched over to dask for data gathering and caching
The keywords module should be looked at for how to use dask dataframes for just-in-time compute and out-of-memory compute.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia leggendo il modulo datasets per comprendere l’attuale raccolta dei dati e il caching, quindi esamina il modulo keywords per il comportamento di calcolo esistente. Il prototipo dovrebbe supportare la raccolta o il calcolo differiti e coprire l’uso di dataframe just-in-time e out-of-memory, ma l’issue non definisce test o criteri di accettazione specifici.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Ambito
- data-engineering, performance
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100