EducationalTestingService / EducationalTestingService/rsmtool
Add suppress_warnings argument to various metrics
- Lingua principale
- Python
- Stelle
- 71
- Fork
- 21
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
The functions for computing individual metrics raise warning in edge cases (for example, when standard deviation is zero). In some cases this can result in multiple warnings which all have the same underlying cause. For example, in case of DSM the user will see a warning for each subgroup.
For users who call the tool from command line or using the top-level API function `run_*`, we could display a single warning pointing out the issue and suppress subsequent warnings raised by each function through an optional `suppress_warnings` argument. The default value will be `False`.
This would require carefully working through different metrics to make sure we do not suppress any unrelated warnings.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Iniziare individuando le singole funzioni delle metriche e i punti di ingresso API run_* di livello superiore descritti nell’issue. Tracciare gli avvisi derivanti da casi limite come la deviazione standard pari a zero, inclusi i sottogruppi DSM, e verificare che la modifica completata mantenga gli avvisi non correlati supportando al contempo il comportamento predefinito indicato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100