microsoft / microsoft/semantic-kernel-java
Java: Add rate limit metadata values to OpenAIStreamingChatMessageContent and OpenAIChatMessageContent
还没有人认领这个 Issue。
- 主要语言
- Java
- 星标
- 276
- 派生
- 56
- 平均合并
- 17 小时 45 分钟
- 30 天内合并 PR
- 4
描述
Raw Azure OpenAi chat completion response contains additional headers, which contain information about rate limits:
x-rate-limit-remaining-requests and x-ratelimit-remaining-tokens. Would it be possible to add these values to the Metadata dictionary in both OpenAIStreamingChatMessageContent and OpenAIChatMessageContent class? I find rate limit information useful, but in current .Net implementation there is no way to access it.
See microsoft/semantic-kernel#8421 for the .NET version of this issue.
贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
调研方向
定位 OpenAIStreamingChatMessageContent 和 OpenAIChatMessageContent，然后跟踪它们的 Metadata 字典如何从 Azure OpenAI 聊天补全响应中填充。将 x-rate-limit-remaining-requests 和 x-ratelimit-remaining-tokens 值添加到两个 Metadata 字典中，并验证流式和非流式响应都会公开这些值。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- java
- 领域
- api
- Issue 类型
- 功能
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 45/100