allenai / allenai/naacl2021-longdoc-tutorial

Rouge very low using provided example

Offen
#7 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
343
Forks
35
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Hi, thanks for the demo script and nice tutorial. I tried to use the example code included in `summarization.py` as below. But I only get Rouge ~0.1 for testing data. Is there anything I didn't notice? Or I have to use all training data to get Rouge 43 as shown in the slide. Thanks!

```
PYTHONWARNINGS="ignore" CUDA_VISIBLE_DEVICES=6,7 python summarization.py \
--fp16 --batch_size 2 --grad_accum 1 --grad_ckpt \
--max_input_len 16384 --attention_window 1024
```

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.