What's the recommended way to test local models?
Aberta
- Linguagem predominante
- Python
- Estrelas
- 395
- Forks
- 105
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
Hi! I'm wondering what's the recommended way to run Olmes against new models running locally. I can spin up a vLLM/SGLang instance to serve my model, but it seems like the only way to configure a new model is by adding it to [models.py](https://github.com/allenai/olmes/blob/main/oe_eval/configs/models.py). Is that correct or is there a more seamless approach?
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Avaliação
Esta issue ainda não foi avaliada.