allenai / allenai/molmo

cap F1 dataset and prompts

オープン
#28 コメント 1 件 リアクション 2 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
933
フォーク
96
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi,

I am trying to reproduce the cap F1 procedure described in the first paragraph of section C in the Molmo and Pixmo paper.

Is it possible to release the dataset used for that evaluation (the 1500 image and their transcripts at least), as well as the prompts used with GPT-4o to compute both precision and recall (enumerating atomic statements, matching them, and checking consistency) ?

Thank you!

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。