EducationalTestingService / EducationalTestingService/rsmtool

The name of human score column in RSMPredict

Abierto
#329 0 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
71
Forks
21
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

[from JIRA] The human_score_column in RSMPredict is by default set to 'sc1' when processing the .json file and there is no way to distinguish later in the code whether the user explicitly specified that `sc1` contains human scores.

When we check whether we need to copy over human scores, we simply check whether the human_score_column is present in the data. If a user set human_score_column to 'sc1' but forgot to include it, the tool will not raise an error and will proceed as if no human_score_column was specified.

This does not affect any of the predictions (we only use that field to copy over other values) but should be fixed at some point in the future.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Localiza el código de RSMPredict que lee el archivo .json y comprueba si human_score_column está presente en los datos. Traza cómo se almacena el valor predeterminado 'sc1' y cómo se copian las puntuaciones humanas. Se considera terminado cuando el código puede distinguir una columna configurada explícitamente del valor predeterminado e informa del caso de una columna ausente en lugar de continuar silenciosamente.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
machine-learning
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.