dotnet / dotnet/machinelearning-modelbuilder
Consider showing balanced accuracy instead of accuracy + additional accuracy metrics
- Vorherrschende Sprache
- Dockerfile
- Sterne
- 285
- Forks
- 66
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Currently, Model builder shows accuracy for the user because it is intuitive to understand.
However, in cases on imbalanced datasets, accuracy can be misleading. I believe real-world datasets are rarely perfectly balanced and in this cases it is no longer intuitive to understand what accuracy means.
For examples, I might have 10% false and 90% true in my dataset. If Model would predict everything as true I still get 90% accuracy.
The issues may even be worse in near-balanced datasets, for example, 60/40% because user might not even think about this possibility.
Even if ML.NET does not have average / balanced accuracy score, it can be calculated from other metrics.
Alternatives for, or additions to, balanced accuracy:
- show the distribution of test data across classes.
- show confusion matrix
- show null accuracy
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Überprüfe die aktuelle Evaluierungsausgabe von Model Builder und wie die Genauigkeit berechnet und angezeigt wird, und vergleiche anschließend die verfügbaren Metriken für unausgeglichene Datensätze. Entscheide, ob balanced accuracy, die Klassenverteilung, eine Konfusionsmatrix oder null accuracy das Problem am besten adressiert, und überprüfe den gewählten Ansatz anhand unausgeglichener Beispiele.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- machine-learning
- Bereich
- machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100