EducationalTestingService / EducationalTestingService/rsmtool

The name of human score column in RSMPredict

Offen
#329 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
71
Forks
21
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

[from JIRA] The human_score_column in RSMPredict is by default set to 'sc1' when processing the .json file and there is no way to distinguish later in the code whether the user explicitly specified that `sc1` contains human scores.

When we check whether we need to copy over human scores, we simply check whether the human_score_column is present in the data. If a user set human_score_column to 'sc1' but forgot to include it, the tool will not raise an error and will proceed as if no human_score_column was specified.

This does not affect any of the predictions (we only use that field to copy over other values) but should be fixed at some point in the future.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Finde den RSMPredict-Code, der die .json-Datei liest und prüft, ob human_score_column in den Daten vorhanden ist. Verfolge, wie der Standardwert 'sc1' gespeichert wird und wie menschliche Scores kopiert werden. Als erledigt gilt, wenn der Code eine explizit konfigurierte Spalte vom Standardwert unterscheiden kann und den Fall einer fehlenden Spalte meldet, statt stillschweigend fortzufahren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.