dotnet / dotnet/machinelearning-modelbuilder
Consider showing balanced accuracy instead of accuracy + additional accuracy metrics
- Lingua principale
- Dockerfile
- Stelle
- 285
- Fork
- 66
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Currently, Model builder shows accuracy for the user because it is intuitive to understand.
However, in cases on imbalanced datasets, accuracy can be misleading. I believe real-world datasets are rarely perfectly balanced and in this cases it is no longer intuitive to understand what accuracy means.
For examples, I might have 10% false and 90% true in my dataset. If Model would predict everything as true I still get 90% accuracy.
The issues may even be worse in near-balanced datasets, for example, 60/40% because user might not even think about this possibility.
Even if ML.NET does not have average / balanced accuracy score, it can be calculated from other metrics.
Alternatives for, or additions to, balanced accuracy:
- show the distribution of test data across classes.
- show confusion matrix
- show null accuracy
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Esamina l'output di valutazione corrente di Model Builder e il modo in cui calcola e visualizza l'accuratezza, quindi confronta le metriche disponibili per i dataset sbilanciati. Decidi se balanced accuracy, la distribuzione delle classi, una matrice di confusione o null accuracy affronta al meglio il problema e verifica l'approccio scelto su esempi sbilanciati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- machine-learning
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100