microsoft / microsoft/semantic-kernel-java
Java: Add rate limit metadata values to OpenAIStreamingChatMessageContent and OpenAIChatMessageContent
Nessuno ha ancora preso questa issue.
- Lingua principale
- Java
- Stelle
- 276
- Fork
- 56
- Merge medio
- 17h 45m
- PR unite (30g)
- 4
Descrizione
Raw Azure OpenAi chat completion response contains additional headers, which contain information about rate limits:
x-rate-limit-remaining-requests and x-ratelimit-remaining-tokens. Would it be possible to add these values to the Metadata dictionary in both OpenAIStreamingChatMessageContent and OpenAIChatMessageContent class? I find rate limit information useful, but in current .Net implementation there is no way to access it.
See microsoft/semantic-kernel#8421 for the .NET version of this issue.
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Individua OpenAIStreamingChatMessageContent e OpenAIChatMessageContent, quindi traccia il modo in cui i relativi dizionari Metadata vengono popolati dalle risposte di completamento chat di Azure OpenAI. Aggiungi i valori x-rate-limit-remaining-requests e x-ratelimit-remaining-tokens a entrambi i dizionari Metadata e verifica che le risposte streaming e non-streaming li espongano.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- api
- Tipo di issue
- Funzionalità
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100