a2ui-project / a2ui-project/a2ui
Central A2UI evaluation harness
- Lingua principale
- TypeScript
- Stelle
- 16.4k
- Fork
- 1.3k
- Merge medio
- 3g 15h
- PR unite (30g)
- 134
Descrizione
Central A2UI evaluation harness and data points covering top use cases and models, to allow us to make further data-driven optimizations. See [A2UI Inference Performance Project Scope](https://docs.google.com/document/d/1BDILK5Wktik1Pce_pjPBdRoVTWWJQSx9y7gJvObwy4c/edit?tab=t.0) (internal Google document)
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
L'issue fa riferimento a un documento interno di Google per lo scope, che non è accessibile. Senza il documento, i requisiti specifici, gli entry point o il codice di valutazione esistente sono sconosciuti. Un newcomer dovrebbe comprendere l'architettura del progetto A2UI, le pipeline di inference esistenti, e definire quali metriche e modelli valutare. Inizia cercando script di valutazione o benchmark esistenti nel repository.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- typescript
- Ambito
- ai-infra-agents, tooling
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100