dotnet / dotnet/machinelearning-modelbuilder

Consider showing balanced accuracy instead of accuracy + additional accuracy metrics

Offen
#1,996 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Feature request Reported by: Customer Stale
Vorherrschende Sprache
Dockerfile
Sterne
285
Forks
66
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Currently, Model builder shows accuracy for the user because it is intuitive to understand.
However, in cases on imbalanced datasets, accuracy can be misleading. I believe real-world datasets are rarely perfectly balanced and in this cases it is no longer intuitive to understand what accuracy means.

For examples, I might have 10% false and 90% true in my dataset. If Model would predict everything as true I still get 90% accuracy.

The issues may even be worse in near-balanced datasets, for example, 60/40% because user might not even think about this possibility.

Even if ML.NET does not have average / balanced accuracy score, it can be calculated from other metrics.

Alternatives for, or additions to, balanced accuracy:
- show the distribution of test data across classes.
- show confusion matrix
- show null accuracy

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Überprüfe die aktuelle Evaluierungsausgabe von Model Builder und wie die Genauigkeit berechnet und angezeigt wird, und vergleiche anschließend die verfügbaren Metriken für unausgeglichene Datensätze. Entscheide, ob balanced accuracy, die Klassenverteilung, eine Konfusionsmatrix oder null accuracy das Problem am besten adressiert, und überprüfe den gewählten Ansatz anhand unausgeglichener Beispiele.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
machine-learning
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.