ChatGPTNextWeb / ChatGPTNextWeb/NextChat
如何使用v2.13.0的自定义模型功能(how to use 2.13.0 multi models)
- Dominant language
- TypeScript
- Stars
- 88.8k
- Forks
- 59.1k
- PR merge metrics
- No merged PRs in 30d
Description
1. 在v2.13.0版本扩展了CUSTOM_MODELS支持的语法
> 支持通过`@`指定provider,支持通过`=`指定deploy_name
2. 解决Azure和OpenAI的模型不能共存的问题
> `+gpt-3.5-turbo@openai,+gpt-3.5-turbo@azure=gpt-3.5`
> 以上配置会分别展示两个模型`gpt-3.5-turbo(OpenAI)`以及`gpt-3.5(Azure)`
> 并且使用Azure部署的`gpt-3.5-turbo`模型会把请求发送到`deploy_name=gpt-3.5`这个部署的服务上面
3. 新增使用字节跳动提供的豆包模型的时候定义deploy_id
> `+Doubao-lite-4k@bytedance=ep-2024xxxx-xxx`
> 以上配置会新增一个`Doubao-lite-4k(ByteDance)`的模型,当选择这个模型的时候,会将请求发送到`ep-2024xxxx-xxx`这个deploy-id服务上面
4. 支持自定义厂商发布的不在内置模型列表中的新模型
> 假如openai发布了gpt-4.5,但是nextchat未及时发布新版
> 可以配置`+gpt-4.5@OpenAI`,模型列表会新增`gpt-4.5(OpenAI)`选项,并且按openai的消息格式发送请求
5. 考虑到一些厂商做中转的时候会将多家厂商的模型都按OpenAI的格式做转发,也可以通过`CUSTOM_MODELS`配置使用:
> 例如,厂商同时中转了`gpt-3.5-turbo`和`claude-2.1`,都走兼容openai的格式
> 配置`+gpt-3.5-turbo@OpenAI,+claude-2.1@OpenAI`(这里使用OpenAI而不是openai代表不是内置的服务商列表,只是符合OpenAI的消息格式)
> 会新增`gpt-3.5-turbo(OpenAI)`和 `claude-2.1(OpenAI)`两个模型选项。请求都会发送到`/api/openai/*`
> 这个时候可以在.env通过配置`BASE_URL`+`OPENAI_API_KEY`的模式,或者签到配置自定义接口走这家中转供应商的服务
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.