[General question] Rate Limits with BYOK
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 2.1k
- Fork
- 153
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Hey! I was wondering how the application handles rate limits when they're hit by BYOK API providers. I'm really interested because I've been using one model very heavily and haven't hit a single rate limit, even though I usually hit dozens.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Nell’issue non sono identificati file, test o punti di ingresso. Inizia individuando la gestione dei limiti di frequenza del provider BYOK e confermando il comportamento con i maintainer; il lavoro sarà completato quando sarà stata concordata una spiegazione di come vengono gestiti i limiti del provider e di dove dovrebbe essere riportata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Ambito
- api
- Tipo di issue
- Documentazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100