github / github/app

[General question] Rate Limits with BYOK

Offen
#1,800 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Keine Sprachdaten
Sterne
2.1k
Forks
153
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Hey! I was wondering how the application handles rate limits when they're hit by BYOK API providers. I'm really interested because I've been using one model very heavily and haven't hit a single rate limit, even though I usually hit dozens.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Im Issue sind keine Dateien, Tests oder Einstiegspunkte angegeben. Beginne damit, die Behandlung der Rate-Limits des BYOK-Providers zu lokalisieren, und bestätige das Verhalten mit den Maintainer:innen; abgeschlossen wäre die Aufgabe, wenn eine abgestimmte Erklärung dazu vorliegt, wie Provider-Limits behandelt werden und wo diese Erklärung stehen sollte.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Bereich
api
Issue-Typ
Dokumentation
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.