allenai / allenai/olmes

OpenAI-compat: --model-type litellm with openai/ prefix and api_base_url /v1

Aperta
#59 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
395
Fork
105
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

## Working config (`--model-type litellm` + `openai/` prefix)

OLMES defaults to HuggingFace weights. `--model-type vllm` is local serving. API Chat Completions hosts need `--model-type litellm`. LiteLLM then needs the `openai/` prefix on `--model`, and `api_base_url` in `--model-args` maps to litellm `api_base`. A host whose public catalog is `GET https://api.pzero.studio/v1/models` (no key) fits if `api_base_url` is the `/v1` root, not the chat path.

```bash
export OPENAI_API_KEY=""

olmes --model-type litellm \
--model openai/deepseek-v4-flash \
--model-args '{"api_base_url": "https://api.pzero.studio/v1"}' \
--task arc_challenge:rc::olmes --limit 1
```

`--model-type hf` and `--model-type vllm` miss this host. `OPENAI_API_KEY` is required.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Start by running the provided `olmes --model-type litellm` command with the `/v1` `api_base_url` and required `OPENAI_API_KEY`. No file or test is named, and the issue does not state whether the desired outcome is documentation or a code change; clarify the scope and define done before editing.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
ai, cli
Tipo di issue
Documentazione
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Attiva
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.