ai-forever / ai-forever/MERA

Как бенчмарк закрытой модели, у которой нету метода loglikelihood?

Open
#11 1 comment 0 reactions 0 assignees View on GitHub
Dominant language
Jupyter Notebook
Stars
63
Forks
8
PR merge metrics
No merged PRs in 30d

Description

Добрый день.
Хотим поскорить закрытые модели - шаблон для Anthropic не работает(нет метода loglikelihood и токенизатора).
В самом [фреймворке](https://github.com/EleutherAI/lm-evaluation-harness), который вы используете, есть метод генерации для закрытых моделей generate_until (no logprobs). Это как-то надо прикручивать к текущему коду оценки MERA?

Contributor guide

No contributing guide indexed for this repository

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.