microsoft / microsoft/semantic-kernel-java

Java: Add rate limit metadata values to OpenAIStreamingChatMessageContent and OpenAIChatMessageContent

オープン
#203 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

java
主要言語
Java
スター
276
フォーク
56
平均マージ
17時間 45分
マージ済み PR(30日)
4

説明

Raw Azure OpenAi chat completion response contains additional headers, which contain information about rate limits:
x-rate-limit-remaining-requests and x-ratelimit-remaining-tokens. Would it be possible to add these values to the Metadata dictionary in both OpenAIStreamingChatMessageContent and OpenAIChatMessageContent class? I find rate limit information useful, but in current .Net implementation there is no way to access it.

See microsoft/semantic-kernel#8421 for the .NET version of this issue.

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

OpenAIStreamingChatMessageContent と OpenAIChatMessageContent を見つけ、Azure OpenAI のチャット補完レスポンスからそれらの Metadata 辞書がどのように設定されるかを追跡します。x-rate-limit-remaining-requests と x-ratelimit-remaining-tokens の値を両方の Metadata 辞書に追加し、ストリーミングと非ストリーミングのレスポンスでそれらが公開されることを確認します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
java
領域
api
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。