coze-dev / coze-dev/coze-studio

建议支持GPUStack开源模型推理平台

Open
#243 1 comment 0 reactions 0 assignees View on GitHub
Dominant language
TypeScript
Stars
21.6k
Forks
3.1k
PR merge metrics
No merged PRs in 30d

Description

GPUStack 是一个100%开源的模型服务平台,支持 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程、天数智芯、寒武纪等 GPU 构建异构 GPU 集群,支持 LLM、多模态、Embedding、Reranker、图像和语音模型,支持 vLLM、MindIE、llama-box(llama.cpp)等多种推理引擎与引擎多版本并行,支持自动调度分配、故障自动恢复、多机推理、异构推理、推理负载均衡、监控指标观测、国产化支持、用户管理与 API 认证授权等各种企业级特性,提供 OpenAI 兼容 API 无缝接入 Dify、RAGFlow、FastGPT、MaxKB 等各种上层应用框架。

已尝试可以通过 OpenAI 方式接入 GPUStack 的 LLM/VLM:
```
meta:
name: qwen3-8b
protocol: openai
conn_config:
base_url: "http://192.168.0.1/v1"
api_key: "gpustack_xxxxx"
timeout: 0s
model: "qwen3-8b"
openai:
by_azure: false
api_version: ""
response_format:
type: text
jsonschema: null
```

但是接入Embedding模型,处理知识库一直卡在0%。

对于 Coze Studio 开源 AI Agent 开发平台来说,GPUStack 这类型的开源模型平台是一个很好的底层模型服务能力支持,请求进行接入提供支持。

Image

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.