codefuse-ai / codefuse-ai/ModelCache

提供OpenAI格式的查询接口

未关闭
#69 1 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
938
派生
65
PR 合并指标
30 天内没有已合并 PR

描述

请问开发者,ModelCache可以直接提供标准的OpenAI格式的查询接口吗,比如原先程序是直接调用在线LLM的,直接替换接口链接和模型name,实现无缝接入到缓存当中。
因为对于一些无法编辑改造查询方式的程序来说,可以直接通过替换OpenAI格式的模型接口,就可以实现直接接入ModelCache。因为缓存期待的是快速响应嘛,所以在没有命中缓存的情况下,调用在线LLM接口查询答案,并且以流式的形式返回从LLM拿到的答案,兼容这些特征。
还有一个疑惑:如果历史上下文、prompt较长的情况下,是否会影响整体召回的准确度,有没有考虑将用户消息、prompt、历史上下文分别存储、计算向量呢。还是说我们查询ModelCache的时候应该尽量精简篇幅,只保留用户消息。希望获得解答。谢谢

贡献指南

这个仓库没有索引到贡献指南

调研方向

未指定实现文件或测试。首先审查项目现有的缓存查询接口以及缓存未命中时的集成路径,然后确定如何接入兼容 OpenAI 的 endpoint、流式响应和长上下文处理。完成的要求是确定 API 设计,并记录缓存命中、缓存未命中以及上下文/向量处理的行为。

由索引模型根据 Issue 内容生成。

评估

技术栈
python
领域
api, backend
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
停滞
描述清晰度
需要澄清
新手友好度
25/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。