Feature request: 4bit and 8bit support
Ouverte
- Langage dominant
- C
- Étoiles
- 2.7k
- Forks
- 211
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
bf16 is more than 80G. Can I get support with 4bit/8bit to solve ram and storage? Thank you!
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Start by mapping how the current bf16 model is loaded, represented, and used during inference. Determine where 4bit and 8bit data would need support, then define how success will be measured: the model runs correctly while reducing RAM and storage compared with bf16. The issue provides no file or test entry point, so repository exploration is required first.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- c
- Domaine
- machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- Active
- Clarté
- À clarifier
- Accessibilité débutants
- 30/100