bigscience-workshop / bigscience-workshop/evaluation
Add MKQA to Full Benchmark
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 42
- Forks
- 24
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Available here: https://github.com/apple/ml-mkqa
Question Answering in 26 languages/dialects.
Beitragsleitfaden
Rechercherichtung
Beginne damit, das verlinkte MKQA-Repository und die bestehenden full-benchmark-Integrationspunkte des Evaluationsprojekts zu lesen. Ermittle, wie Benchmark-Datensätze registriert und getestet werden, und überprüfe dann, dass MKQA mit seinen 26 Sprachen und Dialekten im vollständigen Benchmark enthalten ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100