OpenDataBox / OpenDataBox/Workspace-Bench
Workspace-Bench Lite CN Task 269 and 346 Review Issue
Nobody has claimed this yet.
- Dominant language
- Python
- Stars
- 72
- Forks
- 7
- Avg merge
- 7m
- Merged PRs (30d)
- 6
Description
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判,或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269:Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件:
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致:
task要求模型生成2024 年 12 月客户对账分析报告.md,并将报告保存到/销售管理/月度对账。- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。 output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。
影响:
如果 harness 根据 output_files 生成提交约束,模型可能被要求只提交 DOCX;但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式,或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复:
- 将
output_files改为2024 年 12 月客户对账分析报告.md。 - 将
file_dep_graph.to同步改为相同的 Markdown 文件名。 - 如果评测器只读取提交目录,应明确要求或 staging 业务路径中的 Markdown 到评测可见目录,而不是引入 DOCX-only 的额外合同。
Task 346:Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件:
evaluation/tasks_lite/346/metadata.json
观察到的问题:
task要求模型完成固定资产报废流程和库存临期汇总,但没有定义一个固定业务日期。- 第 5 条 rubric 写成:
输出表格中报废资产申请日期是否填写为当前日期(2026-04-07)。
影响:
在 2026-04-07 之后运行评测时,如果模型正确使用评测运行当天日期,仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复:
- 如果期望固定业务日期,应在
task中明确指定必须使用2026-04-07。 - 如果期望使用运行时当前日期,应将 rubric 改为动态表达,例如
评测运行当天日期,并由评测器在运行时解析为当天日期。
Contributor guide
No contributing guide indexed for this repository
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
Research direction
Start by opening evaluation/tasks_lite/269/metadata.json and evaluation/tasks_lite/346/metadata.json, then compare each task, rubric, output_files, and file_dep_graph entry for contract consistency. Done means Task 269 uses one consistent output format and Task 346 clearly defines whether the date is fixed or runtime-derived; check any available metadata validation or evaluation command afterward.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- json
- Domain
- testing-qa
- Issue type
- Bug
- Difficulty
- 2/5
- Estimated time
- 1-3 hours
- Activity status
- Active
- Clarity
- Clearly specified
- Newbie friendliness
- 78/100