[General question] Rate Limits with BYOK
Offen
- Vorherrschende Sprache
- Keine Sprachdaten
- Sterne
- 2.1k
- Forks
- 153
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Hey! I was wondering how the application handles rate limits when they're hit by BYOK API providers. I'm really interested because I've been using one model very heavily and haven't hit a single rate limit, even though I usually hit dozens.
Beitragsleitfaden
Rechercherichtung
Im Issue sind keine Dateien, Tests oder Einstiegspunkte angegeben. Beginne damit, die Behandlung der Rate-Limits des BYOK-Providers zu lokalisieren, und bestätige das Verhalten mit den Maintainer:innen; abgeschlossen wäre die Aufgabe, wenn eine abgestimmte Erklärung dazu vorliegt, wie Provider-Limits behandelt werden und wo diese Erklärung stehen sollte.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Bereich
- api
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100