allenai / allenai/bi-att-flow

How do you get results for dev_data with squad official evaluator?

オープン
#99 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.5k
フォーク
668
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi,
How do you get results for dev_data in the readme.txt. It is mentioned the results was got with squad official evaluator. Do you need to change any code, or just use
```
python squad/evaluate-v1.1.py $HOME/data/squad/dev-v1.1.json out/basic/00/answer/dev-####.json
```
I got the dev_f1 ~44.0 when I try. There is such a large gap. Could anyone can share your practice?

Thanks,
Allen.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。