makecindy / makecindy/cindy

为 UI 开发任务补充通用屏幕操作能力和默认视觉验收流程

Open
#3,159 1 comment 0 reactions 0 assignees View on GitHub
feature
Dominant language
TypeScript
Stars
2.7k
Forks
401
Avg merge
21h 48m
Merged PRs (30d)
776

Description

**提交人**: juju
**客户端版本**: 0.1.57

---

## 使用场景

用户让 Cindy 修改 Web、移动端、桌面应用或其他带界面的项目后,需要确认最终界面是否符合需求,而不仅是确认代码能够编译或测试通过。

## 当前痛点

目前视觉能力分散在浏览器、模拟器及部分专用项目工具中,许多 UI 开发对话会在代码修改、构建或自动化测试完成后直接结束,没有继续启动界面、执行关键交互并检查实际视觉结果。对于缺少专用工具的普通桌面应用,也缺乏通用的屏幕查看及鼠标键盘操作能力。

用户当前的替代方案是使用具备屏幕查看和操作能力的其他编码 Agent;相比之下,Cindy 在视觉闭环和最终交付验收方面体验不够完整。

## 诉求

1. 增加通用桌面截图或画面理解,以及鼠标、键盘操作能力。
2. UI 类开发任务在存在浏览器、模拟器或专用预览工具时,默认主动执行视觉验收。
3. 将“启动实际界面 → 操作关键路径 → 截图检查 → 发现问题后修正”纳入默认收尾流程。
4. 最终答复明确区分编译/自动化测试通过与视觉验收通过;若无法视觉验收,应明确说明,不应暗示已经完成界面验证。

## 建议范围

同时覆盖能力层和 Agent 工作流层:既补充普通桌面应用的通用视觉操作能力,也提升现有浏览器、移动模拟器和项目专用工具的主动调用策略。可根据任务类型和工具可用性选择执行方式,避免对纯后端或无界面任务造成额外负担。
---
**版本区域**: CN
**OS**: win32 x64 (10.0.26100)
**界面语言**: zh-CN

Contributor guide

Open the contributing guide

Research direction

No implementation files, tests, or entry points are named. Start by locating the existing browser, simulator, and project-specific visual-tool integrations, then trace the agent workflow after builds or automated tests. Done should cover available UI paths with screen inspection and input actions, while clearly reporting whether visual acceptance was completed.

Written by the indexing model from the issue text.

Assessment

Tech stack
electron, react-native, typescript
Domain
ai, desktop, frontend, mobile
Issue type
Feature
Difficulty
5/5
Estimated time
Over a week
Activity status
Active
Clarity
Needs clarification
Newbie friendliness
25/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.