microsoft / microsoft/semantic-kernel-java
Java: Add rate limit metadata values to OpenAIStreamingChatMessageContent and OpenAIChatMessageContent
Personne n'a encore pris cette issue.
- Langage dominant
- Java
- Étoiles
- 276
- Forks
- 56
- Merge moyen
- 17 h 45 min
- PR mergées (30 j)
- 4
Description
Raw Azure OpenAi chat completion response contains additional headers, which contain information about rate limits:
x-rate-limit-remaining-requests and x-ratelimit-remaining-tokens. Would it be possible to add these values to the Metadata dictionary in both OpenAIStreamingChatMessageContent and OpenAIChatMessageContent class? I find rate limit information useful, but in current .Net implementation there is no way to access it.
See microsoft/semantic-kernel#8421 for the .NET version of this issue.
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Localisez OpenAIStreamingChatMessageContent et OpenAIChatMessageContent, puis suivez la manière dont leurs dictionnaires Metadata sont alimentés à partir des réponses de chat completion d’Azure OpenAI. Ajoutez les valeurs x-rate-limit-remaining-requests et x-ratelimit-remaining-tokens aux deux dictionnaires Metadata et vérifiez que les réponses en streaming et sans streaming les exposent.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- api
- Type d'issue
- Fonctionnalité
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100