coze-dev / coze-dev/coze-studio
建议支持GPUStack开源模型推理平台
- Dominant language
- TypeScript
- Stars
- 21.6k
- Forks
- 3.1k
- PR merge metrics
- No merged PRs in 30d
Description
GPUStack 是一个100%开源的模型服务平台,支持 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程、天数智芯、寒武纪等 GPU 构建异构 GPU 集群,支持 LLM、多模态、Embedding、Reranker、图像和语音模型,支持 vLLM、MindIE、llama-box(llama.cpp)等多种推理引擎与引擎多版本并行,支持自动调度分配、故障自动恢复、多机推理、异构推理、推理负载均衡、监控指标观测、国产化支持、用户管理与 API 认证授权等各种企业级特性,提供 OpenAI 兼容 API 无缝接入 Dify、RAGFlow、FastGPT、MaxKB 等各种上层应用框架。
已尝试可以通过 OpenAI 方式接入 GPUStack 的 LLM/VLM:
```
meta:
name: qwen3-8b
protocol: openai
conn_config:
base_url: "http://192.168.0.1/v1"
api_key: "gpustack_xxxxx"
timeout: 0s
model: "qwen3-8b"
openai:
by_azure: false
api_version: ""
response_format:
type: text
jsonschema: null
```
但是接入Embedding模型,处理知识库一直卡在0%。
对于 Coze Studio 开源 AI Agent 开发平台来说,GPUStack 这类型的开源模型平台是一个很好的底层模型服务能力支持,请求进行接入提供支持。
Contributor guide
Assessment
This issue has not been assessed yet.