EducationalTestingService / EducationalTestingService/rsmtool

Provide descriptives for all features, not just those in the final model

Offen
#336 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
71
Forks
21
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Aoife: In a few cases features of interest didn't make it into the final NNLS model. Unfortunately that also meant that they were excluded from all analyses including  feature descriptions. We were able to get feature descriptions by rerunning with Linear Regression, but would it be possible to include feature descriptives and inter-feature correlations for all features listed in the features file, not just the ones that make it into the final model? 

Jeremy: We can address this in the refactored version of RSMTool.

The feature descriptives and inter-feature correlations get calculated by the run_training_analyses() method in the Analyzer class. Currently, this method subsets the data using a selected_features parameter, but we could use something like {{all_features }}instead.

I'm assuming we would want to give users the option to include all features (whether or not they drop out of the model) or selected features in the analysis, correct? If so, we'll have to add a new configuration parameter to that effect.

Aoife: Making it an option sounds reasonable to me

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit der Methode Analyzer.run_training_analyses() und prüfen Sie, wie selected_features die Feature-Deskriptiven und die Korrelationen zwischen Features steuert. Definieren Sie den im Issue besprochenen Konfigurationsparameter und überprüfen Sie anschließend, dass Benutzer zwischen allen Features in der features-Datei und nur den ausgewählten Features wählen können und dass beide Analysen diese Auswahl widerspiegeln.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
42/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.