huggingface/lighteval
View on GitHubLighteval is your all-in-one toolkit for evaluating LLMs across multiple backends
- Stars
- 2.5k
- Forks
- 555
- Open beginner issues
- 1
- Indexed issues
- 233
- Avg merge
- 1d 6h
- Merged PRs (30d)
- 1
- Dominant language
- Python
- License
- MIT
- Last GitHub push
- Sep 9, 2026
- Latest indexed
- Sep 17, 2026
- Contributing guide
- No contributing guide
- Code of conduct
- No code of conduct
- Beginner labels
- good first issue help wanted
-
feature
huggingface/lighteval#8 · 1 comment · 0 reactions · 1 assignee ·
-
feature
huggingface/lighteval#17 · 0 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#45 · 1 comment · 1 reaction · 0 assignees ·
-
feature good first issue science-team
huggingface/lighteval#56 · 6 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#57 · 9 comments · 0 reactions · 0 assignees ·
-
feature science-team
huggingface/lighteval#61 · 2 comments · 0 reactions · 0 assignees ·
-
new-task science-team
huggingface/lighteval#63 · 3 comments · 2 reactions · 0 assignees ·
-
bug
huggingface/lighteval#69 · 1 comment · 1 reaction · 0 assignees ·
-
feature science-team
huggingface/lighteval#70 · 3 comments · 0 reactions · 1 assignee ·
-
to-keep
huggingface/lighteval#97 · 0 comments · 0 reactions · 0 assignees ·
-
Add EQ Bench Opennew-task science-team
huggingface/lighteval#114 · 1 comment · 0 reactions · 0 assignees ·
-
feature new-task
huggingface/lighteval#139 · 10 comments · 3 reactions · 0 assignees ·
-
huggingface/lighteval#144 · 1 comment · 0 reactions · 0 assignees ·
-
huggingface/lighteval#148 · 4 comments · 1 reaction · 0 assignees ·
-
science-team
huggingface/lighteval#170 · 2 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#179 · 6 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#192 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#203 · 3 comments · 1 reaction · 0 assignees ·
-
huggingface/lighteval#210 · 0 comments · 0 reactions · 0 assignees ·
-
huggingface/lighteval#211 · 33 comments · 0 reactions · 1 assignee ·
-
huggingface/lighteval#230 · 0 comments · 0 reactions · 0 assignees ·
-
[FT] Caching Openfeature
huggingface/lighteval#239 · 3 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#246 · 0 comments · 1 reaction · 0 assignees ·
-
huggingface/lighteval#247 · 2 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#256 · 1 comment · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#257 · 0 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#275 · 2 comments · 0 reactions · 0 assignees ·
-
bug science-team
huggingface/lighteval#286 · 0 comments · 0 reactions · 0 assignees ·
-
bug
huggingface/lighteval#288 · 3 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#312 · 1 comment · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#314 · 1 comment · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#322 · 0 comments · 0 reactions · 0 assignees ·
-
new-task science-team
huggingface/lighteval#324 · 2 comments · 0 reactions · 0 assignees ·
-
new-task prio science-team
huggingface/lighteval#325 · 0 comments · 1 reaction · 0 assignees ·
-
bug
huggingface/lighteval#345 · 0 comments · 1 reaction · 0 assignees ·
-
bug
huggingface/lighteval#353 · 0 comments · 1 reaction · 0 assignees ·
-
feature science-team
huggingface/lighteval#355 · 0 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#360 · 0 comments · 0 reactions · 0 assignees ·
-
good first issue help wanted new-task
huggingface/lighteval#373 · 4 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#379 · 2 comments · 1 reaction · 0 assignees ·
-
feature
huggingface/lighteval#396 · 2 comments · 1 reaction · 0 assignees ·
-
feature
huggingface/lighteval#402 · 3 comments · 2 reactions · 0 assignees ·
-
feature
huggingface/lighteval#405 · 1 comment · 1 reaction · 1 assignee ·
-
feature
huggingface/lighteval#410 · 14 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#414 · 0 comments · 1 reaction · 0 assignees ·
-
feature
huggingface/lighteval#417 · 2 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#436 · 2 comments · 0 reactions · 0 assignees ·
-
feature
huggingface/lighteval#439 · 1 comment · 1 reaction · 1 assignee ·
-
new-task
huggingface/lighteval#455 · 2 comments · 2 reactions · 0 assignees ·
-
feature
huggingface/lighteval#458 · 0 comments · 0 reactions · 1 assignee ·