Как бенчмарк закрытой модели, у которой нету метода loglikelihood?
Open
- Dominant language
- Jupyter Notebook
- Stars
- 63
- Forks
- 8
- PR merge metrics
- No merged PRs in 30d
Description
Добрый день.
Хотим поскорить закрытые модели - шаблон для Anthropic не работает(нет метода loglikelihood и токенизатора).
В самом [фреймворке](https://github.com/EleutherAI/lm-evaluation-harness), который вы используете, есть метод генерации для закрытых моделей generate_until (no logprobs). Это как-то надо прикручивать к текущему коду оценки MERA?
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.