EducationalTestingService / EducationalTestingService/rsmtool

Add suppress_warnings argument to various metrics

Offen
#411 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
71
Forks
21
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

The functions for computing individual metrics raise warning in edge cases (for example, when standard deviation is zero). In some cases this can result in multiple warnings which all have the same underlying cause. For example, in case of DSM the user will see a warning for each subgroup.

For users who call the tool from command line or using the top-level API function `run_*`, we could display a single warning pointing out the issue and suppress subsequent warnings raised by each function through an optional `suppress_warnings` argument. The default value will be `False`.

This would require carefully working through different metrics to make sure we do not suppress any unrelated warnings.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie damit, die einzelnen Metrikfunktionen und die im Issue beschriebenen übergeordneten run_* API-Einstiegspunkte zu lokalisieren. Verfolgen Sie Warnungen aus Randfällen wie einer Standardabweichung von null, einschließlich DSM-Untergruppen, und prüfen Sie, dass die abgeschlossene Änderung nicht zusammenhängende Warnungen beibehält und gleichzeitig das angegebene Standardverhalten unterstützt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.