dotnet / dotnet/machinelearning-modelbuilder

Consider showing balanced accuracy instead of accuracy + additional accuracy metrics

Aperta
#1,996 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Feature request Reported by: Customer Stale
Lingua principale
Dockerfile
Stelle
285
Fork
66
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Currently, Model builder shows accuracy for the user because it is intuitive to understand.
However, in cases on imbalanced datasets, accuracy can be misleading. I believe real-world datasets are rarely perfectly balanced and in this cases it is no longer intuitive to understand what accuracy means.

For examples, I might have 10% false and 90% true in my dataset. If Model would predict everything as true I still get 90% accuracy.

The issues may even be worse in near-balanced datasets, for example, 60/40% because user might not even think about this possibility.

Even if ML.NET does not have average / balanced accuracy score, it can be calculated from other metrics.

Alternatives for, or additions to, balanced accuracy:
- show the distribution of test data across classes.
- show confusion matrix
- show null accuracy

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Esamina l'output di valutazione corrente di Model Builder e il modo in cui calcola e visualizza l'accuratezza, quindi confronta le metriche disponibili per i dataset sbilanciati. Decidi se balanced accuracy, la distribuzione delle classi, una matrice di confusione o null accuracy affronta al meglio il problema e verifica l'approccio scelto su esempi sbilanciati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
machine-learning
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.