microsoft / microsoft/semantic-kernel-java
Java: Add rate limit metadata values to OpenAIStreamingChatMessageContent and OpenAIChatMessageContent
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Java
- Sterne
- 276
- Forks
- 56
- Ø Merge
- 17 Std. 45 Min.
- Gemergte PRs (30 T.)
- 4
Beschreibung
Raw Azure OpenAi chat completion response contains additional headers, which contain information about rate limits:
x-rate-limit-remaining-requests and x-ratelimit-remaining-tokens. Would it be possible to add these values to the Metadata dictionary in both OpenAIStreamingChatMessageContent and OpenAIChatMessageContent class? I find rate limit information useful, but in current .Net implementation there is no way to access it.
See microsoft/semantic-kernel#8421 for the .NET version of this issue.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Lokalisieren Sie OpenAIStreamingChatMessageContent und OpenAIChatMessageContent und verfolgen Sie anschließend, wie ihre Metadata-Dictionaries aus Azure OpenAI-Chat-Completion-Antworten befüllt werden. Fügen Sie die Werte x-rate-limit-remaining-requests und x-ratelimit-remaining-tokens zu beiden Metadata-Dictionaries hinzu und überprüfen Sie, dass Streaming- und Nicht-Streaming-Antworten sie bereitstellen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- api
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 45/100