cschladetsch / cschladetsch/PyLocalEnsemble
VRAM arbiter
Aperta
- Lingua principale
- Python
- Stelle
- 1
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Before image gen, signal llama.cpp to offload layers to CPU, generate, signal back. llama.cpp supports --n-gpu-layers via API at runtime
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia individuando il flusso di generazione delle immagini e il punto di integrazione che può chiamare la runtime API di llama.cpp. Traccia come viene invocata la generazione, quindi verifica che l’offload sulla CPU avvenga prima della generazione delle immagini e che il ripristino dei layer GPU avvenga dopo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- ai
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 48/100