github / github/app

MCP image content blocks stripped from tool responses — AI cannot view images

Ouverte
#1,706 1 commentaire 1 réaction 0 personnes assignées Voir sur GitHub
Bugs
Langage dominant
Aucune donnée de langage
Étoiles
2.1k
Forks
153
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

### Description

When an MCP tool returns image content blocks (e.g., base64-encoded JPEG/PNG from `photoshop_get_preview`), the Copilot client strips or truncates the image data before passing the response to the AI model. The AI receives only the text/metadata portion and has no way to access the actual image.

### Expected Behavior

Image content blocks returned by MCP tools should be preserved and forwarded to the AI model, allowing it to "see" the image and provide visual-aware assistance.

### Actual Behavior

1. The MCP tool returns image data correctly (e.g., `photoshop_get_preview` returns `bytes: 30115`, indicating actual image content was generated)
2. The Copilot client strips the image content block from the response
3. The AI only receives text metadata: `{"ok": true, "width": 335, "height": 333, "bytes": 30115}`
4. The AI has no way to view the image unless the user manually takes a screenshot and sends it as a chat attachment

### Impact

- AI cannot verify visual editing results autonomously
- Cannot provide intelligent suggestions based on image content
- Requires manual screenshot sharing for every visual feedback loop, significantly reducing efficiency

### Reproduction Steps

1. Connect to a Photoshop MCP server, for example https://github.com/alisaitteke/photoshop-mcp
2. Open a document in Photoshop
3. Call `photoshop_get_preview`
4. Observe that the AI's response contains no image data

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Reproduisez le problème avec un Photoshop MCP server et l’outil photoshop_get_preview, puis suivez l’endroit où le Copilot client traite la MCP tool response avant qu’elle n’atteigne l’AI model. Le travail est terminé lorsque les image content blocks sont conservés et transmis, afin que le model puisse accéder à l’image ainsi qu’aux métadonnées textuelles.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Domaine
ai, desktop
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
52/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.