boardx / boardx/workspacex

P1 test(e2e): track B 取证还缺三块——第7项真实失败态、第8项 markdown/代码块、第4/6项需真实模型;现状封顶 6/10

Open
#884 0 comments 0 reactions 0 assignees View on GitHub
backlog
Dominant language
TypeScript
Stars
0
Forks
0
Avg merge
1h 7m
Merged PRs (30d)
969

Description

> 来源:CLR track B 第二轮评分(#814),实测 `5da21fce257de0bd922488869e19afb64f65a2d6`。
> #876/PR #880 修好选 agent 之后,B 从 1/10 → **6/10**。剩下的 4 分里,**有 3 分卡在取证而非产品**。

## 三块缺口

### ① 第7项「错误处理透明度」——本轮 SHA 上没有失败态证据

修复后 run 都成功,`b7-error-surface.png` 拍到的是成功态。
本轮该项的 1 分沿用**上一轮**(`4a1dce3e`)拍到的真实 422 红条,
并已用 `git diff` 证明 B 的六条 watch 路径在两个 SHA 之间零改动,所以判定成立。
但**这是跨 SHA 复用,不是本轮自证**——下一轮如果产品面动了,这一分会立刻失去依据。

夹具里**已经有**现成的真实失败路径,脚本没用:

```ts
deepAgentFailureTrigger: "取证:请让这次执行失败" // chat-read-fixture.ts
```

建议在本轮消息之后再发一条该 trigger,拍一张失败态。
这**不违反**「不制造假错误」——它是夹具提供的真实失败路径,不是伪造的截图。

### ② 第8项「消息呈现质量」——样本里没有 markdown / 代码块 / 图片

判据原文要的是「代码块、markdown、图片是否被正确渲染(不是原始文本或裸 URL)」。
本轮发的两条都是纯中文短句,回复也是纯文本 ⇒ **该判据的三个对象一个都没被测到**。
已渲染的部分(agent 名 / 徽章 / 时间戳 / 左右对齐 / 无裸标记)是对的,故给 **0.5**。

建议发一条含 ```代码块```、`**加粗**`、列表与一个 URL 的消息,
让 loopback 原样 echo 回来即可覆盖——**这一项本地完全可以证到满分**,
是三块里最容易补的。

### ③ 第4/6项「真实多步能力」「多轮上下文」——本地结构上证不了

这两项问的是**模型行为**,不是界面呈现:

- 第4项要「调用工具→看结果→**决定下一步**」,而 loopback 桩**恒调** `lookup_time`,
没有任何"决定"发生
- 第6项要「记得前几轮」,而桩的回复只 echo 本轮原话,**从不引用前一轮**
(`b6-multiturn.png` 里两轮回复各自独立,可直接看出来)

界面层的证据已经有了(两轮都持久化、都渲染、历史完整),
**缺的是模型那一半**。⇒ 这两项只能在 devapp 用真实模型复评,
本地脚本再怎么改都补不上。**这不是脚本的错,是取证环境的边界**,
建议直接写进 MANIFEST 的边界声明,免得下一个评分员反复发现同一件事。

## 影响

| 项 | 现状 | 补上后可能 |
|---|---|---|
| 7 | 1(跨 SHA 复用) | 1(本轮自证,更稳) |
| 8 | 0.5 | **1**(本地可补) |
| 4 | 0 | 需 devapp |
| 6 | 0 | 需 devapp |

⇒ **①② 本地即可补,B 可到 6.5/10**;③ 的 2 分必须等真实模型环境。
在那之前 **B 的本地天花板是 6.5**,请不要把「没到 10」读成产品缺陷。

Contributor guide

No contributing guide indexed for this repository

Research direction

Start with the E2E fixture chat-read-fixture.ts and the existing evidence around b7-error-surface.png and b6-multiturn.png. Run the current Track B flow, then assess the provided failure trigger and a message containing markdown, a code block, a list, and a URL; document the real-model boundary for items 4 and 6 in MANIFEST. Done means fresh evidence supports item 7, item 8 is fully rendered, and the unsupported model checks are clearly bounded.

Written by the indexing model from the issue text.

Assessment

Tech stack
typescript
Domain
testing-qa
Issue type
Feature
Difficulty
4/5
Estimated time
3-5 days
Activity status
Quiet
Clarity
Mostly clear
Newbie friendliness
48/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.