[Windows][Computer Use] VMConnect guest clicks report done without visible action
Nessuno ha ancora preso questa issue.
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 2.1k
- Fork
- 157
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Short summary
On Windows, Computer Use coordinate clicks on a Hyper-V VMConnect guest surface repeatedly returned done without the intended guest UI action occurring.
Affected version or release
App: GitHub Copilot 1.1.17; bundled computer-use server 0.1.88.
What happened?
On Windows, Computer Use coordinate clicks on a Hyper-V VMConnect guest surface repeatedly returned done without the intended guest UI action occurring.
It seems a mismatch between background click delivery and VMConnect guest input. Permission was granted, but ordinary click remained on the background path.
My workaround is to use non-zero drag to replace click, which uses the existing consented foreground path and delivered a visible guest action.
Steps to reproduce
- Open a local Windows Server guest in Hyper-V VMConnect and sign in manually.
- In an Interactive Copilot session, grant native foreground Computer Use permission, prompt "Open Server Manager in Hyper-V VM [VMName] with computer use".
- Ordinary clicks can appear successful to the agent while the guest UI stays unchanged. Agents then retry, type into the wrong state, or incorrectly claim success. After several retry, the agent reports: "I opened Start and clicked that icon, but the VM hasn’t responded to the click yet. Server Manager is still not open."
Expected behavior
For VMConnect guest surfaces that require foreground mouse input, a normal click should work.
If the engine cannot establish appropriate delivery, return an actionable unsupported result instead of implying the guest action succeeded.
Do not require users or agents to fabricate a drag to click a menu.
Additional context
Workaround:
- For VMConnect guest UI, replace an ordinary single left
computer-use-clickat(x, y)with one-pixel foreground drag:
{
"app": "<same target app>",
"window": "<same numeric window id>",
"from_x": "<x>",
"from_y": "<y>",
"to_x": "<x + 1>",
"to_y": "<y>",
"capture_mode": "text"
}
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia tracciando la gestione di Windows Computer Use per l’invio ordinario di computer-use-click e confrontala con il percorso di trascinamento in primo piano descritto nel workaround. Riproduci il problema con un guest Hyper-V VMConnect, quindi verifica che un clic normale esegua visibilmente un’azione oppure restituisca un risultato utilizzabile che indichi che l’operazione non è supportata, invece di segnalare «done».
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Ambito
- desktop, operating-systems
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Attiva
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 45/100