huggingface/lighteval
View on GitHubLighteval is your all-in-one toolkit for evaluating LLMs across multiple backends
- Stars
- 2.5k
- Forks
- 555
- Open beginner issues
- 1
- Indexed issues
- 233
- Avg merge
- 1d 6h
- Merged PRs (30d)
- 1
- Dominant language
- Python
- License
- MIT
- Last GitHub push
- Sep 9, 2026
- Latest indexed
- Sep 17, 2026
- Contributing guide
- No contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- good first issue help wanted
-
huggingface/lighteval#966 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#974 · 0 comments · 0 reactions · 0 assignees ·
-
[EVAL] Add MathVista Open
huggingface/lighteval#975 · 1 comment · 0 reactions · 0 assignees ·
-
[EVAL] Add SLR-Bench Open
huggingface/lighteval#982 · 0 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#988 · 2 comments · 2 reactions · 0 assignees ·
-
bug
huggingface/lighteval#995 · 0 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#997 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#999 · 10 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1000 · 3 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1001 · 1 comment · 1 reaction · 0 assignees ·
-
huggingface/lighteval#1002 · 5 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1020 · 1 comment · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1023 · 2 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1024 · 2 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1026 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1028 · 2 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1029 · 1 comment · 2 reactions · 0 assignees ·
-
good first issue new-task
huggingface/lighteval#1036 · 1 comment · 0 reactions · 1 assignee ·
-
bug
huggingface/lighteval#1040 · 3 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1047 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1053 · 2 comments · 1 reaction · 1 assignee ·
-
good first issue help wanted new-task
huggingface/lighteval#1056 · 7 comments · 0 reactions · 1 assignee ·
-
huggingface/lighteval#1063 · 4 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1089 · 3 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1090 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1093 · 2 comments · 2 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1094 · 3 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1096 · 1 comment · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1100 · 2 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1108 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1109 · 4 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1110 · 1 comment · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1112 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1130 · 0 comments · 1 reaction · 0 assignees ·
-
huggingface/lighteval#1132 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1134 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1136 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1138 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1140 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1142 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1144 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1146 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1148 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1150 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1154 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1158 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1160 · 0 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1162 · 1 comment · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#1163 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#1164 · 1 comment · 0 reactions · 0 assignees ·