allenai / allenai/openpi-dataset
Training and inference hyperparameters to reproduce results
- 主要言語
- Python
- スター
- 24
- フォーク
- 3
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Hi, I am trying to reproduce your results reported in the paper. I use the default training and inference hyperparameters but get the following results (much lower than in your paper). Could you release the detailed hyperparameters? Thanks!
| | F1 (exact) | F1 (bleu) | F1 (rouge) |
|---|---|---|---|
| Reported in paper | 4.3 | 16.1 | 32.4 |
| Mine | 2.35 | 11.94 | 27.35 |
My settings:
* Training: I use default hyperparameters in `scripts/training_bash.sh` on 1 GPU
* Generation: I use `training/generation.py` with `--max_len 200`. Other hyperparameters are as default. Input file is `data/formatted_for_gpt2/test.jsonl`
* Evaluation: I evaluate formatted output against `data/gold-v1.1/test.jsonl` (I also tried `data/gold/test/id_answers.jsonl` but the results are almost the same)
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。