allenai / allenai/olmes

OpenAI-compat: --model-type litellm with openai/ prefix and api_base_url /v1

Abierto
#59 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
395
Forks
105
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

## Working config (`--model-type litellm` + `openai/` prefix)

OLMES defaults to HuggingFace weights. `--model-type vllm` is local serving. API Chat Completions hosts need `--model-type litellm`. LiteLLM then needs the `openai/` prefix on `--model`, and `api_base_url` in `--model-args` maps to litellm `api_base`. A host whose public catalog is `GET https://api.pzero.studio/v1/models` (no key) fits if `api_base_url` is the `/v1` root, not the chat path.

```bash
export OPENAI_API_KEY=""

olmes --model-type litellm \
--model openai/deepseek-v4-flash \
--model-args '{"api_base_url": "https://api.pzero.studio/v1"}' \
--task arc_challenge:rc::olmes --limit 1
```

`--model-type hf` and `--model-type vllm` miss this host. `OPENAI_API_KEY` is required.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Start by running the provided `olmes --model-type litellm` command with the `/v1` `api_base_url` and required `OPENAI_API_KEY`. No file or test is named, and the issue does not state whether the desired outcome is documentation or a code change; clarify the scope and define done before editing.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
ai, cli
Tipo de issue
Documentación
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Activo
Claridad
Necesita aclaración
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.