Generating config.json in olmo_data/oe_eval_tasks for new evaluation tasks.
Aberta
type/question
- Linguagem predominante
- Python
- Estrelas
- 6.7k
- Forks
- 797
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
### ❓ The question
Hi,
I'm trying to evaluate the model on new tasks beyond those specified in olmo/eval/downstream.py.
To do this, I understand I need to add the corresponding task configuration files in olmo_data/oe_eval_tasks.
Could you please share the script or code you used to generate these evaluation task configurations?
Thanks in advance!
Guia de contribuição
Avaliação
Esta issue ainda não foi avaliada.