EducationalTestingService / EducationalTestingService/rsmtool

Add suppress_warnings argument to various metrics

Aperta
#411 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Python
Stelle
71
Fork
21
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

The functions for computing individual metrics raise warning in edge cases (for example, when standard deviation is zero). In some cases this can result in multiple warnings which all have the same underlying cause. For example, in case of DSM the user will see a warning for each subgroup.

For users who call the tool from command line or using the top-level API function `run_*`, we could display a single warning pointing out the issue and suppress subsequent warnings raised by each function through an optional `suppress_warnings` argument. The default value will be `False`.

This would require carefully working through different metrics to make sure we do not suppress any unrelated warnings.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Iniziare individuando le singole funzioni delle metriche e i punti di ingresso API run_* di livello superiore descritti nell’issue. Tracciare gli avvisi derivanti da casi limite come la deviazione standard pari a zero, inclusi i sottogruppi DSM, e verificare che la modifica completata mantenga gli avvisi non correlati supportando al contempo il comportamento predefinito indicato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.