github / github/app

[Windows][Computer Use] VMConnect guest clicks report done without visible action

Aperta
#3,764 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

triage
Lingua principale
Nessun dato sulla lingua
Stelle
2.1k
Fork
157
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Short summary

On Windows, Computer Use coordinate clicks on a Hyper-V VMConnect guest surface repeatedly returned done without the intended guest UI action occurring.

Affected version or release

App: GitHub Copilot 1.1.17; bundled computer-use server 0.1.88.

What happened?

On Windows, Computer Use coordinate clicks on a Hyper-V VMConnect guest surface repeatedly returned done without the intended guest UI action occurring.
It seems a mismatch between background click delivery and VMConnect guest input. Permission was granted, but ordinary click remained on the background path.
My workaround is to use non-zero drag to replace click, which uses the existing consented foreground path and delivered a visible guest action.

Steps to reproduce
  1. Open a local Windows Server guest in Hyper-V VMConnect and sign in manually.
  2. In an Interactive Copilot session, grant native foreground Computer Use permission, prompt "Open Server Manager in Hyper-V VM [VMName] with computer use".
  3. Ordinary clicks can appear successful to the agent while the guest UI stays unchanged. Agents then retry, type into the wrong state, or incorrectly claim success. After several retry, the agent reports: "I opened Start and clicked that icon, but the VM hasn’t responded to the click yet. Server Manager is still not open."
Expected behavior

For VMConnect guest surfaces that require foreground mouse input, a normal click should work.
If the engine cannot establish appropriate delivery, return an actionable unsupported result instead of implying the guest action succeeded.
Do not require users or agents to fabricate a drag to click a menu.

Additional context

Workaround:

  1. For VMConnect guest UI, replace an ordinary single left computer-use-click at (x, y) with one-pixel foreground drag:
{
  "app": "<same target app>",
  "window": "<same numeric window id>",
  "from_x": "<x>",
  "from_y": "<y>",
  "to_x": "<x + 1>",
  "to_y": "<y>",
  "capture_mode": "text"
}

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia tracciando la gestione di Windows Computer Use per l’invio ordinario di computer-use-click e confrontala con il percorso di trascinamento in primo piano descritto nel workaround. Riproduci il problema con un guest Hyper-V VMConnect, quindi verifica che un clic normale esegua visibilmente un’azione oppure restituisca un risultato utilizzabile che indichi che l’operazione non è supportata, invece di segnalare «done».

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Ambito
desktop, operating-systems
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.