allenai / allenai/tutormoments

Rename TTFT to TTFAT

Ouverte
#39 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
17
Forks
3
Merge moyen
2 j 10 h
PR mergées (30 j)
12

Description

Our implementation of TTFT time to first token is actually TTFAT time to first answer token. Time to first token counts the time to the first reasoning token for reasoning models. Time to first answer token measures the time to the first non-reasoning answer token. We don't care when the model supplies a reasoning token, students don't see reasoning tokens, what matters is when the student sees the answer. Someone who is up on latency tracking e.g., via artificial analysis might mis-interpret our TTFT as currently reported.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.