InternLM / InternLM/InternLM-Math
Model evaluation on minif2f fails?
Ouverte
- Langage dominant
- Python
- Étoiles
- 550
- Forks
- 39
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
When I evaluate InternLM2-Math-Plus-7b in minif2f through this code, it fails. The model only generates one line "Here is the predicted next tactic:" without any tactics. If I let the model continue generating until I get a tactic each time, I only get a pass rate 38.1% instead of 43.4%.
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Évaluation
Cette issue n'a pas encore été évaluée.