a2ui-project / a2ui-project/a2ui

Central A2UI evaluation harness

Abierto
#664 3 comentarios 0 reacciones 0 asignados Ver en GitHub
component: agent_sdk P2 sprint ready type: feature/enhancement
Lenguaje dominante
TypeScript
Estrellas
16.4k
Forks
1.3k
Merge medio
3 d 15 h
PR fusionados (30 d)
134

Descripción

Central A2UI evaluation harness and data points covering top use cases and models, to allow us to make further data-driven optimizations. See [A2UI Inference Performance Project Scope](https://docs.google.com/document/d/1BDILK5Wktik1Pce_pjPBdRoVTWWJQSx9y7gJvObwy4c/edit?tab=t.0) (internal Google document)

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

El issue hace referencia a un documento interno de Google para el alcance, que no es accesible. Sin el documento, se desconocen los requisitos específicos, los puntos de entrada o el código de evaluación existente. Un newcomer tendría que entender la arquitectura del proyecto A2UI, las pipelines de inference existentes, y definir qué métricas y modelos evaluar. Empieza buscando scripts de evaluación o benchmarks existentes en el repositorio.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
typescript
Área
ai-infra-agents, tooling
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
20/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.