aws-samples / aws-samples/sample-autonomous-cloud-coding-agents

Tooling: Conformance fixtures — golden PEV trajectories per workflow

Abierto
#508 0 comentarios 0 reacciones 0 asignados Ver en GitHub
enhancement tooling
Lenguaje dominante
TypeScript
Estrellas
143
Forks
46
Merge medio
3 d 10 h
PR fusionados (30 d)
24

Descripción

> **Roadmap:** Exposed project specifications; #236 eval harness
> **Priority:** P3

## Component

Other

## Describe the feature

Add `contracts/harness-trajectories/` with **golden fixtures** defining expected orchestrator/agent event sequences and terminal states for each shipped coding workflow. Enables harness-level conformance testing separate from model quality.

## Use case

- **ABCA Spec** claims conforming implementations pass golden trajectories.
- **CI** catches orchestrator/workflow regressions without live Bedrock.
- **Fork authors** validate alternative orchestrators against the same fixtures.

## Proposed solution

1. Directory layout:

```
contracts/harness-trajectories/
coding-new-task-v1.happy-path.json
coding-pr-iteration-v1.happy-path.json
coding-pr-review-v1.happy-path.json
README.md
```

2. Fixture schema: ordered `TaskEvent` types, required fields, terminal `status`, optional mocked agent responses.

3. Jest test in `cdk/test/contracts/` loads fixtures and validates against orchestrator simulation or recorded snapshots (no bundling live agent).

4. Link from harness glossary / ABCA Spec extension catalog.

### Acceptance criteria

- [ ] At least one golden trajectory per shipped coding workflow
- [ ] CI job fails on fixture regression
- [ ] README documents fixture schema and how to add scenarios (failure paths optional follow-up)
- [ ] No live AWS/Bedrock required in unit tests

## Other information

- **Enables:** Harness mutation regression suite issue
- **Related:** #236 eval harness, unified task replay API
- **Paper:** arXiv:2605.18747 replayability and harness-level eval

## Acknowledgements

- [ ] I may be able to implement this feature
- [ ] This might be a breaking change

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Empieza inspeccionando las pruebas de contrato existentes en cdk/test/contracts/ y los workflows de coding incluidos; después revisa la estructura propuesta contracts/harness-trajectories/ y los enlaces relacionados al glosario del harness o a ABCA Spec. Se considera terminado cuando cada workflow incluido tiene una trayectoria dorada documentada, el README explica el esquema y cómo añadir escenarios, CI detecta regresiones y las pruebas unitarias no requieren AWS ni Bedrock en vivo.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
typescript
Área
testing, tooling
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
48/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.