a2ui-project / a2ui-project/a2ui

Central A2UI evaluation harness

未关闭
#664 3 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
component: agent_sdk P2 sprint ready type: feature/enhancement
主要语言
TypeScript
星标
16.4k
派生
1.3k
平均合并
3 天 15 小时
30 天内合并 PR
134

描述

Central A2UI evaluation harness and data points covering top use cases and models, to allow us to make further data-driven optimizations. See [A2UI Inference Performance Project Scope](https://docs.google.com/document/d/1BDILK5Wktik1Pce_pjPBdRoVTWWJQSx9y7gJvObwy4c/edit?tab=t.0) (internal Google document)

贡献指南

打开贡献指南

调研方向

该 issue 引用了一个内部 Google 文档来说明 scope,但该文档无法访问。没有该文档,具体需求、入口点或现有评估代码都是未知的。newcomer 需要理解 A2UI 项目的架构、现有 inference pipelines,并定义要评估哪些 metrics 和 models。先在 repository 中查找现有的评估脚本或 benchmarks。

由索引模型根据 Issue 内容生成。

评估

技术栈
typescript
领域
ai-infra-agents, tooling
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
冷清
描述清晰度
需要澄清
新手友好度
20/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。