allenai / allenai/molmo

[Question] Image mask in MultiModalPreprocessor

Abierto
#50 3 comentarios 0 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Python
Estrellas
933
Forks
96
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

Thanks for open-sourcing this great work!

I was reading the source of model_preprocessor.py, and got confused about the img_mask in line https://github.com/allenai/molmo/blob/793fa387edfd6fd0f5b21eb8e0a7620a1f3799e1/olmo/data/model_preprocessor.py#L551

Why insert an all -1 mask to the end? In my understanding, we should insert the thumbnail image mask to the start.

Correct me if I was wrong. Appreciated for any replies.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.