EducationalTestingService / EducationalTestingService/rsmtool

Provide descriptives for all features, not just those in the final model

Aperta
#336 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Python
Stelle
71
Fork
21
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Aoife: In a few cases features of interest didn't make it into the final NNLS model. Unfortunately that also meant that they were excluded from all analyses including  feature descriptions. We were able to get feature descriptions by rerunning with Linear Regression, but would it be possible to include feature descriptives and inter-feature correlations for all features listed in the features file, not just the ones that make it into the final model? 

Jeremy: We can address this in the refactored version of RSMTool.

The feature descriptives and inter-feature correlations get calculated by the run_training_analyses() method in the Analyzer class. Currently, this method subsets the data using a selected_features parameter, but we could use something like {{all_features }}instead.

I'm assuming we would want to give users the option to include all features (whether or not they drop out of the model) or selected features in the analysis, correct? If so, we'll have to add a new configuration parameter to that effect.

Aoife: Making it an option sounds reasonable to me

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia con il metodo Analyzer.run_training_analyses() e verifica come selected_features controlla le descrizioni delle feature e le correlazioni tra le feature. Definisci il parametro di configurazione discusso nell’issue, quindi verifica che gli utenti possano scegliere tra tutte le feature nel file delle feature e solo le feature selezionate, con entrambe le analisi che riflettono tale scelta.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
42/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.