EducationalTestingService / EducationalTestingService/rsmtool

Compute metrics for all data once

Offen
#338 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
71
Forks
21
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Currently the correlations for All data are computed multiple times: first for all data in run_training_analyses and then during the analysis for each subgroup under compute_correlations_by_group.

For various reasons it would be helpful to keep the all_data on top of the subgroup analyses, but we should remove the computation from *_by_group (https://github.com/EducationalTestingService/rsmtool/blob/07f91264795dc8fb5de9518cb65ff4e1685836ef/rsmtool/analyzer.py#L833) and simply concatenate the output of _by_group with all_data computed previously.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne in rsmtool/analyzer.py bei Zeile 833 und verfolge dann run_training_analyses und compute_correlations_by_group, um zu verstehen, wo Korrelationen für alle Daten erzeugt werden. Bestätige, dass die Subgruppenanalyse sie nicht mehr neu berechnet und dass ihre Ausgabe mit den zuvor berechneten all_data-Ergebnissen verkettet wird, wobei all_data oben bleibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data, machine-learning
Issue-Typ
Refactoring
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.