Feature request: 4bit and 8bit support
Aperta
- Lingua principale
- C
- Stelle
- 2.7k
- Fork
- 211
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
bf16 is more than 80G. Can I get support with 4bit/8bit to solve ram and storage? Thank you!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Start by mapping how the current bf16 model is loaded, represented, and used during inference. Determine where 4bit and 8bit data would need support, then define how success will be measured: the model runs correctly while reducing RAM and storage compared with bf16. The issue provides no file or test entry point, so repository exploration is required first.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- c
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Attiva
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100