afx-team / afx-team/UI-UG

grounding任务的内容提取优化

Open
#3 1 comment 0 reactions 0 assignees View on GitHub
Dominant language
Python
Stars
90
Forks
8
PR merge metrics
No merged PRs in 30d

Description

hello,你们的工作与我们这边想法、思路及工作都非常一致,我认为你们的工作是GUI方向的重要基石,
当下我这边基于工程角度考虑,在grounding任务中,只需要model返回除了text外的其他有效元素,但是目前来看prompt控制能力较弱,无法控制模型的返回。
因为我这边认为,text可以通过OCR能力填充,icon等其他元素是当下的重要基石,可以看看如何提升这一点~

Contributor guide

No contributing guide indexed for this repository

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.