allenai/olmes

在 GitHub 檢視

Reproducible, flexible LLM evaluations

星號: 395
分支: 105
開放的新手 issue: 0
已索引 issue: 24

主要語言: Python
授權條款: Apache-2.0
最近 GitHub push: 2026年3月24日
最近索引: 2026年9月13日
貢獻指南: 沒有貢獻指南
行為準則: 沒有行為準則
新手標籤: 沒有已索引的新手標籤
PR 合併指標: 30 天內沒有已合併 PR

未關閉全部

目前已索引 24 個 Issue

Release Plan for IFEval-OOD and HREF 未關閉

allenai/olmes#4 · 9 則留言 · 6 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Running the benchmark suite on very big models 未關閉

allenai/olmes#5 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
drop score very low 未關閉

allenai/olmes#7 · 1 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
"Likelihood" based functions are not implemented for API-based models 未關閉

allenai/olmes#10 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Reproducing MATH numbers from OLMo-2 release blog 未關閉

allenai/olmes#11 · 1 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
potential breaking API changes from alpacal_eval? 未關閉

allenai/olmes#13 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
What's the recommended way to test local models? 未關閉

allenai/olmes#21 · 0 則留言 · 1 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Missing datasets 未關閉

allenai/olmes#25 · 4 則留言 · 1 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Argument list too long 未關閉

allenai/olmes#26 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Reproduction of Tulu-3-8B-SFT on MMLU 未關閉

allenai/olmes#27 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
GGUF models 未關閉

allenai/olmes#28 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Reproduction of Olmo3 未關閉

allenai/olmes#30 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Multi-worker evaluation fails: CUDA multiprocessing error 未關閉

allenai/olmes#31 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Unexpected keyword argument 'prompt_token_ids' for Gemma 3 Eval 未關閉

allenai/olmes#32 · 5 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
[BUG] alpaca_eval_v2:bpb::tulu yields incorrect, inflated BPB scores due to num_chars defaulting to 1 未關閉

allenai/olmes#33 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Feature Request: Adaptive Item Selection for Expensive Generative Evaluations 未關閉

allenai/olmes#34 · 1 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Dataset 'allenai/aime-2021-2025' doesn't exist on the Hub or cannot be accessed. 未關閉

allenai/olmes#36 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
MT MBPP dataset unavailable 未關閉

allenai/olmes#37 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Consider relaxing python library dependencies to make olmes easier to install 未關閉

allenai/olmes#38 · 0 則留言 · 3 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
What's the recommended (or any) way to run OLMES on multiple GPUs? 未關閉

allenai/olmes#39 · 6 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Documentation - List of working dataset pipelines 未關閉

allenai/olmes#46 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
newer transformers library versions break olmo3, fix provided in a PR 未關閉

allenai/olmes#54 · 2 則留言 · 1 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
Optional EvalPort export for OLMES task instances and predictions 未關閉

allenai/olmes#58 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日
OpenAI-compat: --model-type litellm with openai/ prefix and api_base_url /v1 未關閉

allenai/olmes#59 · 0 則留言 · 0 個 reaction · 已指派 0 人 · 索引於 2026年9月13日

allenai/olmes

把新 issue 寄到你的電子郵件信箱