allenai / allenai/openpi-dataset

Training and inference hyperparameters to reproduce results

Aberta
#13 18 comentários 0 reações 1 responsável Reivindicada por @nikett Ver no GitHub
Linguagem predominante
Python
Estrelas
24
Forks
3
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

Hi, I am trying to reproduce your results reported in the paper. I use the default training and inference hyperparameters but get the following results (much lower than in your paper). Could you release the detailed hyperparameters? Thanks!

| | F1 (exact) | F1 (bleu) | F1 (rouge) |
|---|---|---|---|
| Reported in paper | 4.3 | 16.1 | 32.4 |
| Mine | 2.35 | 11.94 | 27.35 |

My settings:
* Training: I use default hyperparameters in `scripts/training_bash.sh` on 1 GPU
* Generation: I use `training/generation.py` with `--max_len 200`. Other hyperparameters are as default. Input file is `data/formatted_for_gpt2/test.jsonl`
* Evaluation: I evaluate formatted output against `data/gold-v1.1/test.jsonl` (I also tried `data/gold/test/id_answers.jsonl` but the results are almost the same)

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.