codefuse-ai / codefuse-ai/ModelCache
提供OpenAI格式的查询接口
未关闭
- 主要语言
- Python
- 星标
- 938
- 派生
- 65
- PR 合并指标
- 30 天内没有已合并 PR
描述
请问开发者,ModelCache可以直接提供标准的OpenAI格式的查询接口吗,比如原先程序是直接调用在线LLM的,直接替换接口链接和模型name,实现无缝接入到缓存当中。
因为对于一些无法编辑改造查询方式的程序来说,可以直接通过替换OpenAI格式的模型接口,就可以实现直接接入ModelCache。因为缓存期待的是快速响应嘛,所以在没有命中缓存的情况下,调用在线LLM接口查询答案,并且以流式的形式返回从LLM拿到的答案,兼容这些特征。
还有一个疑惑:如果历史上下文、prompt较长的情况下,是否会影响整体召回的准确度,有没有考虑将用户消息、prompt、历史上下文分别存储、计算向量呢。还是说我们查询ModelCache的时候应该尽量精简篇幅,只保留用户消息。希望获得解答。谢谢
贡献指南
这个仓库没有索引到贡献指南
调研方向
未指定实现文件或测试。首先审查项目现有的缓存查询接口以及缓存未命中时的集成路径,然后确定如何接入兼容 OpenAI 的 endpoint、流式响应和长上下文处理。完成的要求是确定 API 设计,并记录缓存命中、缓存未命中以及上下文/向量处理的行为。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- api, backend
- Issue 类型
- 功能
- 难度
- 5/5
- 预计耗时
- 一周以上
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 25/100