a2ui-project / a2ui-project/a2ui
Central A2UI evaluation harness
未关闭
component: agent_sdk
P2
sprint ready
type: feature/enhancement
- 主要语言
- TypeScript
- 星标
- 16.4k
- 派生
- 1.3k
- 平均合并
- 3 天 15 小时
- 30 天内合并 PR
- 134
描述
Central A2UI evaluation harness and data points covering top use cases and models, to allow us to make further data-driven optimizations. See [A2UI Inference Performance Project Scope](https://docs.google.com/document/d/1BDILK5Wktik1Pce_pjPBdRoVTWWJQSx9y7gJvObwy4c/edit?tab=t.0) (internal Google document)
贡献指南
调研方向
该 issue 引用了一个内部 Google 文档来说明 scope,但该文档无法访问。没有该文档,具体需求、入口点或现有评估代码都是未知的。newcomer 需要理解 A2UI 项目的架构、现有 inference pipelines,并定义要评估哪些 metrics 和 models。先在 repository 中查找现有的评估脚本或 benchmarks。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- typescript
- 领域
- ai-infra-agents, tooling
- Issue 类型
- 功能
- 难度
- 5/5
- 预计耗时
- 一周以上
- 活跃度
- 冷清
- 描述清晰度
- 需要澄清
- 新手友好度
- 20/100