allenai / allenai/openpi-dataset

Training and inference hyperparameters to reproduce results

オープン
#13 コメント 18 件 リアクション 0 件 担当者 1 名 @nikett が担当を希望しています GitHub で見る
主要言語
Python
スター
24
フォーク
3
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi, I am trying to reproduce your results reported in the paper. I use the default training and inference hyperparameters but get the following results (much lower than in your paper). Could you release the detailed hyperparameters? Thanks!

| | F1 (exact) | F1 (bleu) | F1 (rouge) |
|---|---|---|---|
| Reported in paper | 4.3 | 16.1 | 32.4 |
| Mine | 2.35 | 11.94 | 27.35 |

My settings:
* Training: I use default hyperparameters in `scripts/training_bash.sh` on 1 GPU
* Generation: I use `training/generation.py` with `--max_len 200`. Other hyperparameters are as default. Input file is `data/formatted_for_gpt2/test.jsonl`
* Evaluation: I evaluate formatted output against `data/gold-v1.1/test.jsonl` (I also tried `data/gold/test/id_answers.jsonl` but the results are almost the same)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。