bigscience-workshop / bigscience-workshop/evaluation
Add MNLI to Full Benchmark
- Vorherrschende Sprache
- Python
- Sterne
- 42
- Forks
- 24
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
coordinate with whoever is working on SuperGLUE, we only need to include MNLI once. But NLI will be held-out from model training (whereas the other SuperGLUE tasks will not) so interpreting MNLI results is different from other superglue tasks.
use to test generalization to unseen task; maybe use FLEX?
Beitragsleitfaden
Rechercherichtung
Es werden keine Dateien, Tests oder Einstiegspunkte genannt. Ermittle zunächst den vollständigen Benchmark und die bestehende SuperGLUE-Integration, stimme dich dann mit dem Beitragenden ab und kläre, ob FLEX vorgesehen ist; als abgeschlossen gilt die Aufgabe, wenn MNLI einmal enthalten ist und die Interpretation des Trainings mit zurückgehaltenen Daten dokumentiert ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Bereich
- machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100