EleutherAI/lm-evaluation-harness
View on GitHubA framework for few-shot evaluation of language models.
- Stars
- 14k
- Forks
- 3.6k
- Open beginner issues
- 0
- Indexed issues
- 589
- Avg merge
- 4d 2h
- Merged PRs (30d)
- 35
- Dominant language
- Python
- License
- MIT
- Last GitHub push
- Sep 14, 2026
- Latest indexed
- Sep 15, 2026
- Contributing guide
- Contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- good first issue help wanted
-
Implement XQuAD Openfeature request good first issue help wanted
EleutherAI/lm-evaluation-harness#191 · 3 comments · 0 reactions · 0 assignees ·
-
Add TheoremQA Openfeature request good first issue help wanted
EleutherAI/lm-evaluation-harness#518 · 5 comments · 0 reactions · 1 assignee ·
-
Quac Dataset Openfeature request good first issue
EleutherAI/lm-evaluation-harness#827 · 8 comments · 1 reaction · 0 assignees ·
-
feature request
EleutherAI/lm-evaluation-harness#837 · 1 comment · 3 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#959 · 3 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#974 · 8 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#993 · 3 comments · 3 reactions · 0 assignees ·
-
feature request
EleutherAI/lm-evaluation-harness#1006 · 1 comment · 0 reactions · 1 assignee ·
-
[New Task] COLLIE Openfeature request good first issue help wanted
EleutherAI/lm-evaluation-harness#1013 · 1 comment · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1017 · 11 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1034 · 3 comments · 0 reactions · 0 assignees ·
-
opinions wanted
EleutherAI/lm-evaluation-harness#1050 · 19 comments · 9 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1053 · 10 comments · 0 reactions · 1 assignee ·
-
feature request
EleutherAI/lm-evaluation-harness#1078 · 1 comment · 0 reactions · 1 assignee ·
-
feature request good first issue help wanted
EleutherAI/lm-evaluation-harness#1083 · 3 comments · 0 reactions · 0 assignees ·
-
validation
EleutherAI/lm-evaluation-harness#1086 · 0 comments · 0 reactions · 0 assignees ·
-
feature request
EleutherAI/lm-evaluation-harness#1117 · 3 comments · 0 reactions · 1 assignee ·
-
EleutherAI/lm-evaluation-harness#1125 · 2 comments · 0 reactions · 0 assignees ·
-
feature request
EleutherAI/lm-evaluation-harness#1151 · 0 comments · 0 reactions · 1 assignee ·
-
bug good first issue
EleutherAI/lm-evaluation-harness#1231 · 2 comments · 0 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1232 · 7 comments · 0 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1239 · 4 comments · 0 reactions · 0 assignees ·
-
feature request help wanted
EleutherAI/lm-evaluation-harness#1286 · 2 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1292 · 15 comments · 0 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1297 · 9 comments · 0 reactions · 1 assignee ·
-
bug
EleutherAI/lm-evaluation-harness#1302 · 3 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1308 · 1 comment · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1319 · 0 comments · 0 reactions · 1 assignee ·
-
EleutherAI/lm-evaluation-harness#1340 · 10 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1362 · 1 comment · 0 reactions · 0 assignees ·
-
asking questions
EleutherAI/lm-evaluation-harness#1370 · 7 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1375 · 0 comments · 1 reaction · 0 assignees ·
-
Improvements to MGSM Open
EleutherAI/lm-evaluation-harness#1391 · 9 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1392 · 2 comments · 0 reactions · 0 assignees ·
-
Acc vs acc_norm Openasking questions
EleutherAI/lm-evaluation-harness#1396 · 9 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1409 · 3 comments · 0 reactions · 0 assignees ·
-
feature request
EleutherAI/lm-evaluation-harness#1410 · 3 comments · 0 reactions · 0 assignees ·
-
Truncation Openasking questions
EleutherAI/lm-evaluation-harness#1426 · 4 comments · 0 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1428 · 1 comment · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1432 · 1 comment · 0 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1436 · 0 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1439 · 2 comments · 0 reactions · 0 assignees ·
-
EleutherAI/lm-evaluation-harness#1452 · 0 comments · 0 reactions · 0 assignees ·
-
feature request good first issue help wanted
EleutherAI/lm-evaluation-harness#1454 · 1 comment · 0 reactions · 0 assignees ·
-
feature request good first issue help wanted
EleutherAI/lm-evaluation-harness#1457 · 1 comment · 2 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1471 · 7 comments · 0 reactions · 0 assignees ·
-
bug
EleutherAI/lm-evaluation-harness#1472 · 6 comments · 0 reactions · 1 assignee ·
-
EleutherAI/lm-evaluation-harness#1473 · 1 comment · 0 reactions · 0 assignees ·
-
use local model api Open
EleutherAI/lm-evaluation-harness#1479 · 1 comment · 0 reactions · 0 assignees ·
-
asking questions
EleutherAI/lm-evaluation-harness#1483 · 4 comments · 0 reactions · 0 assignees ·