allenai / allenai/tutormoments

Rename TTFT to TTFAT

Offen Anfängerfreundlich
#39 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
17
Forks
3
Ø Merge
2 T. 10 Std.
Gemergte PRs (30 T.)
12

Beschreibung

Our implementation of TTFT time to first token is actually TTFAT time to first answer token. Time to first token counts the time to the first reasoning token for reasoning models. Time to first answer token measures the time to the first non-reasoning answer token. We don't care when the model supplies a reasoning token, students don't see reasoning tokens, what matters is when the student sees the answer. Someone who is up on latency tracking e.g., via artificial analysis might mis-interpret our TTFT as currently reported.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Search the repository for TTFT and identify the implementation, user-facing labels, and documentation that use the term. Rename those references to TTFAT while preserving the distinction between reasoning and answer tokens, then run the existing test suite and confirm no misleading TTFT references remain.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
observability-sre
Issue-Typ
Refactoring
Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
72/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.