AI-Hypercomputer / AI-Hypercomputer/JetStream

Question about producing the logits from Jetstream (context and generated output) like gather_all_token_logits in TRTLLM

Aperta
#153 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
457
Fork
67
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Any example to set it up? Thanks

Guida per i contributori

Apri la guida per i contributori

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.