allenai / allenai/unified-io-2.pytorch

Preprocessed image is not correct

オープン
#12 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
78
フォーク
8
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi,
For the following cat image, I get this preprocessed input after the preprocessor. However, the preprocessed (after encoded by the ViT) looks not correct. Is this the correct behavior? Similar patterns happen for any kind of image for the model. Also, this applies to large, xl and xxl
```
cat_image = "/workspace/alpkant/cat.jpg"
preprocessed_example = preprocessor(text_inputs="", image_inputs=cat_image, text_targets= "Speed",target_modality="text", is_training=False)
plt.figure()
plt.imshow(preprocessed_example["/inputs/image/input"]*255) # This is because they are scaled between 0-1 after preprocessing
plt.show()
```
![dog2](https://github.com/user-attachments/assets/87ea6a60-c42b-412e-8f93-f4468d545972)
![output](https://github.com/user-attachments/assets/6b84ca81-12ae-4bdd-bb70-cfc0dd4a35ea)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。