github / github/app

Associate pick-and-polish selections with voice transcription references

Đang mở
#2,190 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
2.1k
Fork
153
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

### What problem are you trying to solve?

Pick and polish works well for attaching a selected UI element to a typed prompt, but it does not support naturally referencing multiple elements while dictating a request.

For example, while speaking I want to select different elements and say:

> Make **[click] this one** larger, remove **[click] this one**, and move **[click] this one** to the left.

Currently, the selections are treated as general attachments rather than being associated with the exact moment or phrase in the voice transcript. The agent therefore cannot reliably determine which instruction belongs to which selected element.

### Proposed solution

Integrate pick-and-polish selections with voice transcription so each selection is linked to its position in the transcript.

When the user clicks an element while speaking, the transcript could insert a visible reference token, such as:

> Make **[Header]** larger, remove **[Secondary button]**, and move **[Image card]** to the left.

The agent should receive both the selected element's context and its relationship to the corresponding spoken instruction. Multiple selections should be supported within one continuous voice request.

### Workflow impact

This would make voice-driven UI editing faster and more natural. Users could describe several changes in one pass without stopping to submit a separate prompt for every element or verbally identifying elements that are already selectable on screen.

It would also create a stronger multimodal workflow by combining visual selection, speech, and agent context.

### Installation context

GitHub Copilot app on macOS, using browser/app preview and voice transcription.

### Additional context

Pick and polish already provides the core selection mechanism. The request is to preserve the timing and semantic relationship between each selection and the corresponding part of a voice-transcribed prompt.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng cách lần theo luồng chọn và tinh chỉnh hiện có cũng như luồng chuyển giọng nói thành văn bản trong ứng dụng GitHub Copilot; issue không nêu tệp, bài kiểm thử hay điểm vào nào. Xác định cách các lựa chọn trở thành các tham chiếu bản ghi rõ ràng, giữ lại thời điểm và ngữ cảnh của từng lựa chọn, hỗ trợ nhiều lựa chọn trong một yêu cầu và xác minh rằng mỗi chỉ dẫn được nói ra đều được liên kết với phần tử dự định.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
macos
Lĩnh vực
desktop
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
30/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.