allenai / allenai/natural-instructions

Data leakage with tasks 1295 and 1640

Offen
#773 4 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
1k
Forks
197
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Task 1295 is a training task issued from the AdversarialQA dataset and Task 1640 is a testing task also issued from AdversarialQA.
I would assume that this wasn't caught by automated checks because the URLs are different and there is a typo in the `Source` field of task 1640 where the value is "adverserial_qa"

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.