Rubric judge未获得被评 agent 的执行轨迹——与论文不一致,且「是否使用了某文件」类 rubric 恒被判通过

您好，感谢发布 Workspace-Bench。

我们最近在使用 Workspace-Bench 评测多个 Agent 系统。整体上非常认可这个 benchmark 的方向，尤其是大规模 noisy workspace、cross-file dependency reasoning 和 workspace-level grounding。这些设计比传统“小文件包 QA benchmark”更接近真实 Agent 场景。

但是我发现论文明确 Agent-as-a-Judge 评 rubric 时会把被评 agent 的执行轨迹一并给裁判;当前代码(evaluation/src/agent_as_a_judge.py)没给，裁判只能看原始输入 + 候选输出。后果:(1) rubric 通过率无法与论文对标；(2)「agent 是否使用/整合/追溯了某输入文件」这类过程型 rubric 被恒判通过（因为input本质上是模型应该用到哪些文件的gt），抬高分数。

论文规定 — 裁判应拿到 4 样:输出文件 + 输入文件 + rubrics + 执行轨迹。

代码现状 — _build_judge_prompt 的 payload = task/steps/rubrics/data/judgeView{cwd, inputsPath, originalTaskMetadataPath, candidateOutputPath};_prepare_judge_view 只暴露 inputs/ + candidate_output/。无 executionTrace。 max_trace_items 对 rubric 评分是无效参数(轨迹只在 dep_graph_recognition._trace_summary 依赖图那步用)。

影响 — (1) 与论文口径不一致;(2) 只有 inputs/ 可见、目标文件本就在其中 → 「是否用了 X」几乎恒判通过。

Start in evaluation/src/agent_as_a_judge.py, especially _build_judge_prompt and _prepare_judge_view, and compare the judge payload with the execution-trace handling in dep_graph_recognition._trace_summary. Trace how execution data is available and ensure rubric judging receives the output files, input files, rubrics, and execution trace so process-based rubrics are not passed solely because inputs are visible.