bigscience-workshop / bigscience-workshop/evaluation
Add TyDiQA for non-training languages to Full Benchmark
Aperta
few_shot
multilingual
- Lingua principale
- Python
- Stelle
- 42
- Fork
- 24
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
use to test generalization to unseen language; maybe use FLEX?
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
La issue menziona Full Benchmark, TyDiQA e FLEX, ma non indica file, test o punti di ingresso. Inizia individuando la configurazione di Full Benchmark e le integrazioni dei dataset esistenti, quindi chiarisci come devono essere valutate le lingue non usate per l’addestramento; il lavoro è completato quando la valutazione di generalizzazione TyDiQA prevista è inclusa nel benchmark.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning, testing-qa
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100