github / github/app

MCP image content blocks stripped from tool responses — AI cannot view images

Đang mở
#1,706 1 bình luận 1 reaction 0 người được giao Xem trên GitHub
Bugs
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
2.1k
Fork
153
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

### Description

When an MCP tool returns image content blocks (e.g., base64-encoded JPEG/PNG from `photoshop_get_preview`), the Copilot client strips or truncates the image data before passing the response to the AI model. The AI receives only the text/metadata portion and has no way to access the actual image.

### Expected Behavior

Image content blocks returned by MCP tools should be preserved and forwarded to the AI model, allowing it to "see" the image and provide visual-aware assistance.

### Actual Behavior

1. The MCP tool returns image data correctly (e.g., `photoshop_get_preview` returns `bytes: 30115`, indicating actual image content was generated)
2. The Copilot client strips the image content block from the response
3. The AI only receives text metadata: `{"ok": true, "width": 335, "height": 333, "bytes": 30115}`
4. The AI has no way to view the image unless the user manually takes a screenshot and sends it as a chat attachment

### Impact

- AI cannot verify visual editing results autonomously
- Cannot provide intelligent suggestions based on image content
- Requires manual screenshot sharing for every visual feedback loop, significantly reducing efficiency

### Reproduction Steps

1. Connect to a Photoshop MCP server, for example https://github.com/alisaitteke/photoshop-mcp
2. Open a document in Photoshop
3. Call `photoshop_get_preview`
4. Observe that the AI's response contains no image data

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Tái hiện sự cố với một Photoshop MCP server và công cụ photoshop_get_preview, sau đó truy vết nơi Copilot client xử lý MCP tool response trước khi phản hồi này đến AI model. Hoàn tất khi các image content blocks được giữ nguyên và chuyển tiếp, để model có thể truy cập cả hình ảnh lẫn siêu dữ liệu văn bản.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
ai, desktop
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
52/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.