a2ui-project / a2ui-project/a2ui
Central A2UI evaluation harness
- Lenguaje dominante
- TypeScript
- Estrellas
- 16.4k
- Forks
- 1.3k
- Merge medio
- 3 d 15 h
- PR fusionados (30 d)
- 134
Descripción
Central A2UI evaluation harness and data points covering top use cases and models, to allow us to make further data-driven optimizations. See [A2UI Inference Performance Project Scope](https://docs.google.com/document/d/1BDILK5Wktik1Pce_pjPBdRoVTWWJQSx9y7gJvObwy4c/edit?tab=t.0) (internal Google document)
Guía de contribución
Línea de trabajo
El issue hace referencia a un documento interno de Google para el alcance, que no es accesible. Sin el documento, se desconocen los requisitos específicos, los puntos de entrada o el código de evaluación existente. Un newcomer tendría que entender la arquitectura del proyecto A2UI, las pipelines de inference existentes, y definir qué métricas y modelos evaluar. Empieza buscando scripts de evaluación o benchmarks existentes en el repositorio.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- typescript
- Área
- ai-infra-agents, tooling
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Tranquilo
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100