agentscope-ai / agentscope-ai/QwenPaw

[Feature]: 纯文本模型支持图片自动转文字描述(vision fallback)

Aperta
#5,615 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
TypeScript
Stelle
35k
Fork
3.1k
Merge medio
1g 13h
PR unite (30g)
228

Descrizione

## 功能请求

当用户配置了纯文本模型(如 `qwen-max`、`QwenPaw-Flash`)时,如果用户上传图片,当前系统会直接报错或忽略。

**期望行为**:
- 检测到当前模型不支持多模态 + 用户上传了图片
- 自动调用备用的视觉模型(如 `qwen-vl-max`、`gpt-4o`)生成图片描述
- 将描述文本注入到对话上下文中
- 纯文本模型基于描述继续对话

**参考实现**:
类似 qclaw / codex 的处理流程:
1. 保存图片到磁盘
2. 调用视觉模型生成文字描述
3. 描述注入上下文
4. 纯文本模型基于描述回复

**配置建议**:
在 `agent.json` 中增加配置项:
```json
{
"multimodal_fallback": {
"enabled": true,
"vision_provider": "dashscope",
"vision_model": "qwen-vl-max"
}
}

使用场景:

用户主要使用本地小模型(如 QwenPaw-Flash 系列)节省成本或只使用纯文本模型
偶尔需要处理图片时,自动调用云端视觉模型
不需要用户手动切换模型

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start with agent.json and trace the existing image-upload and model-capability handling that currently errors or ignores images. Compare the referenced qclaw/codex flow, then determine how the vision provider and model settings should connect to conversation context. Done means a configured text-only model can receive an uploaded image through the fallback path and continue with its description.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
ai
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
38/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.