aws / aws/amazon-q-developer-cli

Feature Request: Access to agent output in lifecycle hook(s)

Offen
#3,476 0 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Rust
Sterne
2k
Forks
439
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

**Summary:**

I’m looking to implement Telemetry into custom agents (specifically DataDog LLM Observability). The basic hookup works okay with the current suite of hooks in Q/Kiro CLI.

However a good portion of the interesting functionality we would be interested in require access to the output of the agent given to the user. It can use that to evaluate things like error rates, hallucinations, etc.

Currently I don’t see any hook into the lifecycle that would provide both the agent input and output for a given request. I was thinking including both of those on the “[stop](https://github.com/aws/amazon-q-developer-cli/blob/main/docs/hooks.md#stop)” hook would be sufficient.

**Request:**

- A new, or updated existing, hook that for each request to an agent provides the input and output as part of the JSON payload for the hook.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Lesen Sie docs/hooks.md, insbesondere den Abschnitt Stop hook, und überprüfen Sie, wie die aktuellen lifecycle hooks agent requests offenlegen. Definieren und implementieren Sie eine hook payload, die sowohl agent input als auch output für jede request enthält, und überprüfen Sie anschließend, dass das resultierende JSON dem in der Issue beschriebenen Telemetrie-Anwendungsfall entspricht.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
rust
Bereich
ai, cli, observability-sre
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.