EducationalTestingService / EducationalTestingService/rsmtool
More prominent warning for classifiers that do not support expected probabilities
- Vorherrschende Sprache
- Python
- Sterne
- 71
- Forks
- 21
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
For classifiers that do not support expected probabilities, we currently rely on SKLL to raise a warning and proceed generating integer scores. The final report still says "Predictions analyzed in this report are expected scores".
This is easy to miss when running multiple experiments.
We might consider either raising an error during model training or at least changing the wording in the report.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, den Pfad des Modelltrainings und die Formulierung des Abschlussberichts nachzuverfolgen, wobei das Warnverhalten von SKLL als aktuelle Referenz dient. Entscheide, ob Abschluss bedeutet, dass das Training fehlschlägt oder dass der Bericht ganz eindeutig Ganzzahlwerte als Scores kennzeichnet, und überprüfe dann das gewählte Verhalten anhand mehrerer Experimente.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, scikit-learn
- Bereich
- machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100