allenai / allenai/scibert

Better performance than the reported.

オープン
#100 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.7k
フォーク
232
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi,
I am reproducing the fine-tune results following your instruction.
I work on your default code and my setting is as below. I work on ebmnlp and pico task without fine-tuning
> `DATASET='ebmnlp',
TASK='pico',
with_finetuning='' #'_finetune' # or '' for not fine tuning,
dataset_size=38124`,

However, I found my results are much better than the reported number in your paper. In scibert paper, the micro F1 is 68.30 (Frozen) and 72.28 (fine-tune), but in my experiment, the F1 is 75.48 (frozen).

> "test_accuracy": 0.8668599033816425,
"test_accuracy3": 0.9632463768115942,
"test_F1_O": 0.9153885841369629,
"test_F1_I-OUT": 0.673623263835907,
"test_F1_I-PAR": 0.7656552195549011,
"test_F1_I-INT": 0.6646913886070251,
"test_avg_f1": 0.754839614033699,
"test_loss": 4.438140077646389

I am really confused.
Thanks

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。