allenai / allenai/tutormoments

Rename TTFT to TTFAT

Aperta Adatta ai principianti
#39 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
17
Fork
3
Merge medio
2g 10h
PR unite (30g)
12

Descrizione

Our implementation of TTFT time to first token is actually TTFAT time to first answer token. Time to first token counts the time to the first reasoning token for reasoning models. Time to first answer token measures the time to the first non-reasoning answer token. We don't care when the model supplies a reasoning token, students don't see reasoning tokens, what matters is when the student sees the answer. Someone who is up on latency tracking e.g., via artificial analysis might mis-interpret our TTFT as currently reported.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Search the repository for TTFT and identify the implementation, user-facing labels, and documentation that use the term. Rename those references to TTFAT while preserving the distinction between reasoning and answer tokens, then run the existing test suite and confirm no misleading TTFT references remain.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
observability-sre
Tipo di issue
Refactoring
Difficoltà
2/5
Tempo stimato
1-3 ore
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
72/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.