cschladetsch / cschladetsch/PyLocalEnsemble
VRAM arbiter
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 1
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Before image gen, signal llama.cpp to offload layers to CPU, generate, signal back. llama.cpp supports --n-gpu-layers via API at runtime
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, den Ablauf der Bildgenerierung und den Integrationspunkt zu finden, der die Runtime-API von llama.cpp aufrufen kann. Verfolge, wie die Generierung aufgerufen wird, und überprüfe anschließend, dass das CPU-Offloading vor der Bildgenerierung erfolgt und die Wiederherstellung der GPU-Layer danach erfolgt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- ai
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 48/100