abetlen / abetlen/llama-cpp-python
get hidden state
Aperta
question
- Lingua principale
- Python
- Stelle
- 10.6k
- Fork
- 1.4k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
In the process of inferring tokens, how to return the hidden state before the lm_head and the logits after the lm_head
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.