microsoft / microsoft/semantic-kernel-java
Java: Add rate limit metadata values to OpenAIStreamingChatMessageContent and OpenAIChatMessageContent
まだ誰も着手していません。
- 主要言語
- Java
- スター
- 276
- フォーク
- 56
- 平均マージ
- 17時間 45分
- マージ済み PR(30日)
- 4
説明
Raw Azure OpenAi chat completion response contains additional headers, which contain information about rate limits:
x-rate-limit-remaining-requests and x-ratelimit-remaining-tokens. Would it be possible to add these values to the Metadata dictionary in both OpenAIStreamingChatMessageContent and OpenAIChatMessageContent class? I find rate limit information useful, but in current .Net implementation there is no way to access it.
See microsoft/semantic-kernel#8421 for the .NET version of this issue.
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
OpenAIStreamingChatMessageContent と OpenAIChatMessageContent を見つけ、Azure OpenAI のチャット補完レスポンスからそれらの Metadata 辞書がどのように設定されるかを追跡します。x-rate-limit-remaining-requests と x-ratelimit-remaining-tokens の値を両方の Metadata 辞書に追加し、ストリーミングと非ストリーミングのレスポンスでそれらが公開されることを確認します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- api
- issue の種類
- 機能追加
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100