github / github/app

Associate pick-and-polish selections with voice transcription references

オープン
#2,190 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
言語のデータがありません
スター
2.1k
フォーク
153
PR マージ指標
30日以内にマージされた PR はありません

説明

### What problem are you trying to solve?

Pick and polish works well for attaching a selected UI element to a typed prompt, but it does not support naturally referencing multiple elements while dictating a request.

For example, while speaking I want to select different elements and say:

> Make **[click] this one** larger, remove **[click] this one**, and move **[click] this one** to the left.

Currently, the selections are treated as general attachments rather than being associated with the exact moment or phrase in the voice transcript. The agent therefore cannot reliably determine which instruction belongs to which selected element.

### Proposed solution

Integrate pick-and-polish selections with voice transcription so each selection is linked to its position in the transcript.

When the user clicks an element while speaking, the transcript could insert a visible reference token, such as:

> Make **[Header]** larger, remove **[Secondary button]**, and move **[Image card]** to the left.

The agent should receive both the selected element's context and its relationship to the corresponding spoken instruction. Multiple selections should be supported within one continuous voice request.

### Workflow impact

This would make voice-driven UI editing faster and more natural. Users could describe several changes in one pass without stopping to submit a separate prompt for every element or verbally identifying elements that are already selectable on screen.

It would also create a stronger multimodal workflow by combining visual selection, speech, and agent context.

### Installation context

GitHub Copilot app on macOS, using browser/app preview and voice transcription.

### Additional context

Pick and polish already provides the core selection mechanism. The request is to preserve the timing and semantic relationship between each selection and the corresponding part of a voice-transcribed prompt.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、GitHub Copilot アプリにおける既存の選択と調整のフロー、および音声文字起こしのフローを追跡します。この issue では、ファイル、テスト、エントリポイントが指定されていません。選択範囲がどのように可視の文字起こし参照になるかを定義し、各選択範囲のタイミングとコンテキストを保持し、1 つのリクエストで複数の選択範囲をサポートし、各音声指示が意図した要素に関連付けられていることを検証します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
macos
領域
desktop
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
静か
明瞭さ
説明が足りない
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。