allenai / allenai/molmo

cap F1 dataset and prompts

Abierto
#28 1 comentario 2 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
933
Forks
96
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Hi,

I am trying to reproduce the cap F1 procedure described in the first paragraph of section C in the Molmo and Pixmo paper.

Is it possible to release the dataset used for that evaluation (the 1500 image and their transcripts at least), as well as the prompts used with GPT-4o to compute both precision and recall (enumerating atomic statements, matching them, and checking consistency) ?

Thank you!

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.