EducationalTestingService / EducationalTestingService/rsmtool
More prominent warning for classifiers that do not support expected probabilities
- Lenguaje dominante
- Python
- Estrellas
- 71
- Forks
- 21
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
For classifiers that do not support expected probabilities, we currently rely on SKLL to raise a warning and proceed generating integer scores. The final report still says "Predictions analyzed in this report are expected scores".
This is easy to miss when running multiple experiments.
We might consider either raising an error during model training or at least changing the wording in the report.
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Línea de trabajo
Empieza rastreando el flujo de entrenamiento del modelo y la redacción del informe final, utilizando el comportamiento de advertencia de SKLL como referencia actual. Decide si la finalización implica que el entrenamiento falle o que el informe identifique claramente las puntuaciones enteras, y después verifica el comportamiento elegido en varios experimentos.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python, scikit-learn
- Área
- machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100