AnswerDotAI / AnswerDotAI/gpu.cpp
Support for 4bit or 8bit tensor
Aperta
- Lingua principale
- C++
- Stelle
- 4k
- Fork
- 199
- Merge medio
- 2m
- PR unite (30g)
- 3
Descrizione
Although it may be out of scope, it would be nice to have an example of computing 4bit and 8bit tensors, to save memory bandwidth.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Non vengono indicati file, test o punti di ingresso. Chiarisci prima la rappresentazione prevista dei tensori a 4-bit e 8-bit e l'ambito atteso dell'esempio, quindi individua i punti di ingresso rilevanti per i tensori e i calcoli GPU; l'implementazione dovrebbe includere un esempio funzionante che dimostri la larghezza di banda della memoria ridotta richiesta.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- cpp
- Ambito
- hpc, performance
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100