allenai / allenai/olmo-eval

Migrate eval library from oe-eval-internal to olmo-eval

未關閉
#311 10 則留言 0 個 reaction 已指派 1 人 已被 @abhishekraok 認領 在 GitHub 檢視
主要語言
Python
星號
70
分支
21
平均合併
2 天 11 小時
30 天內合併 PR
41

描述

Migrate missing evals.
Find owners.
oe-eval is deprecated.
Iz proposal: Agents run both libraries and check parity.
How many owners?
Abhishek to take a look

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

Start by comparing the oe-eval-internal and olmo-eval libraries to identify missing evals and determine their owners. Run both libraries as proposed and check parity; the migration is done when missing evals are accounted for and ownership is clear.

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
machine-learning, testing
Issue 類型
重構
難度
5/5
預估耗時
一週以上
活躍度
活躍
描述清晰度
需要釐清
新手友好度
25/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。