allenai / allenai/molmo

Does pixmo-points-eval have support in the evaluation scripts?

Ouverte
#47 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
933
Forks
96
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

Hello, thanks for releasing this dataset and code!

I noticed that in [molmo/launch_scripts/eval_downstream.py](https://github.com/allenai/molmo/blob/main/launch_scripts/eval_downstream.py)
, there doesn’t seem to be an entry for the pixmo-points-eval task.

Is pixmo-points-eval currently supported by the evaluation pipeline?

If not, what’s the recommended way to run evaluation on this dataset?

Are there any example commands or configs available to reproduce results with this benchmark?

Thanks a lot for clarifying!

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.