allenai / allenai/OLMo

Generating config.json in olmo_data/oe_eval_tasks for new evaluation tasks.

Aberta
#854 11 comentários 0 reações 0 responsáveis Ver no GitHub
type/question
Linguagem predominante
Python
Estrelas
6.7k
Forks
797
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

### ❓ The question

Hi,
I'm trying to evaluate the model on new tasks beyond those specified in olmo/eval/downstream.py.
To do this, I understand I need to add the corresponding task configuration files in olmo_data/oe_eval_tasks.

Could you please share the script or code you used to generate these evaluation task configurations?

Thanks in advance!

Guia de contribuição

Abrir o guia de contribuição

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.