allenai / allenai/discoverybench
[EVALUATION]: How to evaluate on the test dataset absent gold hypothesis?
Abierto
evaluation
- Lenguaje dominante
- Python
- Estrellas
- 161
- Forks
- 18
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
The `meatadata_*.json` files under `discoverybench/real/test` do not seem to contain labeled hypothesis. How should we evaluate this portion of the dataset to get HMS scores?
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Evaluación
Este issue todavía no se ha evaluado.