Значения логов бенчмарка

Ouverte

#14 ouverte le 20/2/2024 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

good first issue question

Description

Прогоняем бенчмарк MERA на различных моделях и во всех в файлах _result.json поля

```
"metric": 0.0,
"metric_stderr": 0.0
```

Является ли сабмит бенчмарк с данными метриками валидным? Метрики рассчитываются после сабмита?

Так же в некоторых заданиях (например chegeka) логиты равняются нулю, это особенность задач?

Aucun guide de contribution indexé pour ce dépôt

Cette issue n'a pas encore été évaluée.