[Feature Request] Support for OpenAI ChatCompletion models
Open
enhancement
good first issue
- Dominant language
- Jupyter Notebook
- Stars
- 63
- Forks
- 8
- PR merge metrics
- No merged PRs in 30d
Description
- [Поддерживается](https://github.com/EleutherAI/lm-evaluation-harness/blob/main/lm_eval/models/openai_completions.py#L368) в оригинальной lm-evaluation-harness.
- Позволяет тестировать неограниченный пул моделей через инструменты вроде vllm/llama.cpp-server/text-generation-webui/etc.
- Настройка формата подсказки на стороне сервера.
- Можно разделить машину для инференса и тестирования.
- Можно тестировать проприетарные модели с openai-like api (например, mistral-medium).
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.