a2ui-project / a2ui-project/a2ui

Central A2UI evaluation harness

Aberta
#664 3 comentários 0 reações 0 responsáveis Ver no GitHub
component: agent_sdk P2 sprint ready type: feature/enhancement
Linguagem predominante
TypeScript
Estrelas
16.4k
Forks
1.3k
Merge médio
3d 15h
PRs com merge (30d)
134

Descrição

Central A2UI evaluation harness and data points covering top use cases and models, to allow us to make further data-driven optimizations. See [A2UI Inference Performance Project Scope](https://docs.google.com/document/d/1BDILK5Wktik1Pce_pjPBdRoVTWWJQSx9y7gJvObwy4c/edit?tab=t.0) (internal Google document)

Guia de contribuição

Abrir o guia de contribuição

Direção de pesquisa

A issue referencia um documento interno do Google para o escopo, que não é acessível. Sem o documento, os requisitos específicos, pontos de entrada ou código de avaliação existente são desconhecidos. Um newcomer precisaria entender a arquitetura do projeto A2UI, as pipelines de inference existentes, e definir quais métricas e modelos avaliar. Comece procurando scripts de avaliação ou benchmarks existentes no repositório.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
typescript
Domínio
ai-infra-agents, tooling
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Pouca atividade
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
20/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.