Migrate eval library from oe-eval-internal to olmo-eval
Aberta
- Linguagem predominante
- Python
- Estrelas
- 70
- Forks
- 21
- Merge médio
- 2d 11h
- PRs com merge (30d)
- 41
Descrição
Migrate missing evals.
Find owners.
oe-eval is deprecated.
Iz proposal: Agents run both libraries and check parity.
How many owners?
Abhishek to take a look
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Start by comparing the oe-eval-internal and olmo-eval libraries to identify missing evals and determine their owners. Run both libraries as proposed and check parity; the migration is done when missing evals are accounted for and ownership is clear.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- machine-learning, testing
- Tipo de issue
- Refatoração
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Status de atividade
- Ativa
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 25/100