OpenAI-compat: --model-type litellm with openai/ prefix and api_base_url /v1
- Lingua principale
- Python
- Stelle
- 395
- Fork
- 105
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
## Working config (`--model-type litellm` + `openai/` prefix)
OLMES defaults to HuggingFace weights. `--model-type vllm` is local serving. API Chat Completions hosts need `--model-type litellm`. LiteLLM then needs the `openai/` prefix on `--model`, and `api_base_url` in `--model-args` maps to litellm `api_base`. A host whose public catalog is `GET https://api.pzero.studio/v1/models` (no key) fits if `api_base_url` is the `/v1` root, not the chat path.
```bash
export OPENAI_API_KEY=""
olmes --model-type litellm \
--model openai/deepseek-v4-flash \
--model-args '{"api_base_url": "https://api.pzero.studio/v1"}' \
--task arc_challenge:rc::olmes --limit 1
```
`--model-type hf` and `--model-type vllm` miss this host. `OPENAI_API_KEY` is required.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Start by running the provided `olmes --model-type litellm` command with the `/v1` `api_base_url` and required `OPENAI_API_KEY`. No file or test is named, and the issue does not state whether the desired outcome is documentation or a code change; clarify the scope and define done before editing.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- ai, cli
- Tipo di issue
- Documentazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Attiva
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100