EducationalTestingService / EducationalTestingService/rsmtool

More prominent warning for classifiers that do not support expected probabilities

Offen
#196 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement help wanted
Vorherrschende Sprache
Python
Sterne
71
Forks
21
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

For classifiers that do not support expected probabilities, we currently rely on SKLL to raise a warning and proceed generating integer scores. The final report still says "Predictions analyzed in this report are expected scores".
This is easy to miss when running multiple experiments.

We might consider either raising an error during model training or at least changing the wording in the report.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, den Pfad des Modelltrainings und die Formulierung des Abschlussberichts nachzuverfolgen, wobei das Warnverhalten von SKLL als aktuelle Referenz dient. Entscheide, ob Abschluss bedeutet, dass das Training fehlschlägt oder dass der Bericht ganz eindeutig Ganzzahlwerte als Scores kennzeichnet, und überprüfe dann das gewählte Verhalten anhand mehrerer Experimente.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, scikit-learn
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.