EducationalTestingService / EducationalTestingService/rsmtool

More prominent warning for classifiers that do not support expected probabilities

Abierto
#196 0 comentarios 0 reacciones 0 asignados Ver en GitHub
enhancement help wanted
Lenguaje dominante
Python
Estrellas
71
Forks
21
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

For classifiers that do not support expected probabilities, we currently rely on SKLL to raise a warning and proceed generating integer scores. The final report still says "Predictions analyzed in this report are expected scores".
This is easy to miss when running multiple experiments.

We might consider either raising an error during model training or at least changing the wording in the report.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Empieza rastreando el flujo de entrenamiento del modelo y la redacción del informe final, utilizando el comportamiento de advertencia de SKLL como referencia actual. Decide si la finalización implica que el entrenamiento falle o que el informe identifique claramente las puntuaciones enteras, y después verifica el comportamiento elegido en varios experimentos.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python, scikit-learn
Área
machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Necesita aclaración
Aptitud para principiantes
25/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.