EducationalTestingService / EducationalTestingService/rsmtool

The name of human score column in RSMPredict

Aperta
#329 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
71
Fork
21
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

[from JIRA] The human_score_column in RSMPredict is by default set to 'sc1' when processing the .json file and there is no way to distinguish later in the code whether the user explicitly specified that `sc1` contains human scores.

When we check whether we need to copy over human scores, we simply check whether the human_score_column is present in the data. If a user set human_score_column to 'sc1' but forgot to include it, the tool will not raise an error and will proceed as if no human_score_column was specified.

This does not affect any of the predictions (we only use that field to copy over other values) but should be fixed at some point in the future.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Individua il codice di RSMPredict che legge il file .json e verifica se human_score_column è presente nei dati. Traccia come viene memorizzato il valore predefinito 'sc1' e come vengono copiati i punteggi umani. Il lavoro è completato quando il codice può distinguere una colonna configurata esplicitamente dal valore predefinito e segnala il caso della colonna mancante invece di procedere silenziosamente.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.