allenai / allenai/molmo-motion

Language command does not take any effect

Offen
#5 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
134
Forks
8
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Hi. Thanks for release the demo.
I just tried out the default example, but change the language command to see if the model can actually understand the prompt.
Here are what I tried:
- Default command: "Put white ball on white 3D printed base" -> work.
- Command 1: "Move white ball to the right, far away 3D printed base" -> output almost the same with default command
- Command 2: "Move white ball to the right corner of the brown sheet" -> almost stay at the same place.

I attach the results corresponding to the 3 commands above.
https://github.com/user-attachments/assets/b7323bf2-93aa-4954-a54d-15790d1c15df
https://github.com/user-attachments/assets/6fd245f7-2294-4407-9553-fdb0db4feec7
https://github.com/user-attachments/assets/7f6543e0-8e5d-4e48-9c12-1ae6aaa4ba8c

I hope I am wrong, but I feel the model just memorizes the scene, rather than taking condition on the prompt.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.