allenai / allenai/olmes

OpenAI-compat: --model-type litellm with openai/ prefix and api_base_url /v1

Offen
#59 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
395
Forks
105
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

## Working config (`--model-type litellm` + `openai/` prefix)

OLMES defaults to HuggingFace weights. `--model-type vllm` is local serving. API Chat Completions hosts need `--model-type litellm`. LiteLLM then needs the `openai/` prefix on `--model`, and `api_base_url` in `--model-args` maps to litellm `api_base`. A host whose public catalog is `GET https://api.pzero.studio/v1/models` (no key) fits if `api_base_url` is the `/v1` root, not the chat path.

```bash
export OPENAI_API_KEY=""

olmes --model-type litellm \
--model openai/deepseek-v4-flash \
--model-args '{"api_base_url": "https://api.pzero.studio/v1"}' \
--task arc_challenge:rc::olmes --limit 1
```

`--model-type hf` and `--model-type vllm` miss this host. `OPENAI_API_KEY` is required.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Start by running the provided `olmes --model-type litellm` command with the `/v1` `api_base_url` and required `OPENAI_API_KEY`. No file or test is named, and the issue does not state whether the desired outcome is documentation or a code change; clarify the scope and define done before editing.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
ai, cli
Issue-Typ
Dokumentation
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Aktiv
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.