allenai / allenai/olmes

Unexpected keyword argument 'prompt_token_ids' for Gemma 3 Eval

Aberta
#32 5 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
Python
Estrelas
395
Forks
105
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

I'm running the "Olmes: Standard 10 MCQA" tasks using a VLLM backend and `gemma-3-1b-it`:

```bash
olmes \
--model google/gemma-3-1b-it \
--model-type vllm \
--model-args "trust_remote_code=True" \
--task \
core_9mcqa::olmes \
mmlu::olmes \
--batch-size auto \
--output-dir ./eval_results
```

However, I'm running into an error:

```
TypeError: LLM.generate() got an unexpected keyword argument 'prompt_token_ids'
[rank0]:[W1211 03:38:51.066672473 ProcessGroupNCCL.cpp:1538] Warning: WARNING: destroy_process_group() was not called before program exit, which can leak resources. For more info, please see https://pytorch.org/docs/stable/distributed.html#shutdown (function operator())
ERROR 12-11 03:38:51 [core_client.py:564] Engine core proc EngineCore_DP0 died unexpectedly, shutting down client.
Running loglikelihood requests: 0% 0/4000 [00:01

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.