Значения логов бенчмарка

未关闭

#14 创建于 2024年2月20日 1 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

good first issue question

描述

Прогоняем бенчмарк MERA на различных моделях и во всех в файлах _result.json поля

```
"metric": 0.0,
"metric_stderr": 0.0
```

Является ли сабмит бенчмарк с данными метриками валидным? Метрики рассчитываются после сабмита?

Так же в некоторых заданиях (например chegeka) логиты равняются нулю, это особенность задач?

这个仓库没有索引到贡献指南

这个 Issue 还没有评估数据。