P1 test(e2e): track B 取证还缺三块——第7项真实失败态、第8项 markdown/代码块、第4/6项需真实模型;现状封顶 6/10
- Dominant language
- TypeScript
- Stars
- 0
- Forks
- 0
- Avg merge
- 1h 7m
- Merged PRs (30d)
- 969
Description
> 来源:CLR track B 第二轮评分(#814),实测 `5da21fce257de0bd922488869e19afb64f65a2d6`。
> #876/PR #880 修好选 agent 之后,B 从 1/10 → **6/10**。剩下的 4 分里,**有 3 分卡在取证而非产品**。
## 三块缺口
### ① 第7项「错误处理透明度」——本轮 SHA 上没有失败态证据
修复后 run 都成功,`b7-error-surface.png` 拍到的是成功态。
本轮该项的 1 分沿用**上一轮**(`4a1dce3e`)拍到的真实 422 红条,
并已用 `git diff` 证明 B 的六条 watch 路径在两个 SHA 之间零改动,所以判定成立。
但**这是跨 SHA 复用,不是本轮自证**——下一轮如果产品面动了,这一分会立刻失去依据。
夹具里**已经有**现成的真实失败路径,脚本没用:
```ts
deepAgentFailureTrigger: "取证:请让这次执行失败" // chat-read-fixture.ts
```
建议在本轮消息之后再发一条该 trigger,拍一张失败态。
这**不违反**「不制造假错误」——它是夹具提供的真实失败路径,不是伪造的截图。
### ② 第8项「消息呈现质量」——样本里没有 markdown / 代码块 / 图片
判据原文要的是「代码块、markdown、图片是否被正确渲染(不是原始文本或裸 URL)」。
本轮发的两条都是纯中文短句,回复也是纯文本 ⇒ **该判据的三个对象一个都没被测到**。
已渲染的部分(agent 名 / 徽章 / 时间戳 / 左右对齐 / 无裸标记)是对的,故给 **0.5**。
建议发一条含 ```代码块```、`**加粗**`、列表与一个 URL 的消息,
让 loopback 原样 echo 回来即可覆盖——**这一项本地完全可以证到满分**,
是三块里最容易补的。
### ③ 第4/6项「真实多步能力」「多轮上下文」——本地结构上证不了
这两项问的是**模型行为**,不是界面呈现:
- 第4项要「调用工具→看结果→**决定下一步**」,而 loopback 桩**恒调** `lookup_time`,
没有任何"决定"发生
- 第6项要「记得前几轮」,而桩的回复只 echo 本轮原话,**从不引用前一轮**
(`b6-multiturn.png` 里两轮回复各自独立,可直接看出来)
界面层的证据已经有了(两轮都持久化、都渲染、历史完整),
**缺的是模型那一半**。⇒ 这两项只能在 devapp 用真实模型复评,
本地脚本再怎么改都补不上。**这不是脚本的错,是取证环境的边界**,
建议直接写进 MANIFEST 的边界声明,免得下一个评分员反复发现同一件事。
## 影响
| 项 | 现状 | 补上后可能 |
|---|---|---|
| 7 | 1(跨 SHA 复用) | 1(本轮自证,更稳) |
| 8 | 0.5 | **1**(本地可补) |
| 4 | 0 | 需 devapp |
| 6 | 0 | 需 devapp |
⇒ **①② 本地即可补,B 可到 6.5/10**;③ 的 2 分必须等真实模型环境。
在那之前 **B 的本地天花板是 6.5**,请不要把「没到 10」读成产品缺陷。
Contributor guide
No contributing guide indexed for this repository
Research direction
Start with the E2E fixture chat-read-fixture.ts and the existing evidence around b7-error-surface.png and b6-multiturn.png. Run the current Track B flow, then assess the provided failure trigger and a message containing markdown, a code block, a list, and a URL; document the real-model boundary for items 4 and 6 in MANIFEST. Done means fresh evidence supports item 7, item 8 is fully rendered, and the unsupported model checks are clearly bounded.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- typescript
- Domain
- testing-qa
- Issue type
- Feature
- Difficulty
- 4/5
- Estimated time
- 3-5 days
- Activity status
- Quiet
- Clarity
- Mostly clear
- Newbie friendliness
- 48/100