bigscience-workshop / bigscience-workshop/evaluation

Add MNLI to Full Benchmark

Offen
#33 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
few_shot
Vorherrschende Sprache
Python
Sterne
42
Forks
24
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

coordinate with whoever is working on SuperGLUE, we only need to include MNLI once. But NLI will be held-out from model training (whereas the other SuperGLUE tasks will not) so interpreting MNLI results is different from other superglue tasks.

use to test generalization to unseen task; maybe use FLEX?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Es werden keine Dateien, Tests oder Einstiegspunkte genannt. Ermittle zunächst den vollständigen Benchmark und die bestehende SuperGLUE-Integration, stimme dich dann mit dem Beitragenden ab und kläre, ob FLEX vorgesehen ist; als abgeschlossen gilt die Aufgabe, wenn MNLI einmal enthalten ist und die Interpretation des Trainings mit zurückgehaltenen Daten dokumentiert ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.