allenai / allenai/unified-io-2.pytorch

The output of the largest model seems unreliable.

Offen
#3 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
78
Forks
8
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

We are running the XXL Unified IO 2 model (pytorch version) on a NVIDIA GeForce RTX 4090. The demo.py file is shown below:

```python
from uio2 import config
from uio2.model import UnifiedIOModel
from uio2.preprocessing import UnifiedIOPreprocessor
preprocessor = UnifiedIOPreprocessor.from_config(config.XXL, "tokenizer.model")
model = UnifiedIOModel(config.XXL)

from uio2.runner import TaskRunner
runner = TaskRunner(model, preprocessor)

for _ in range(3):
ans1 = runner.categorization("something.jpg", ["boy", "girl", "cat", "dog", "car", "plane", "sun"])
print(f"Prediction: {ans1}")
```

`something.jpg` file is actually a picture of cat.
![something](https://github.com/allenai/unified-io-2.pytorch/assets/76479709/6405f8a8-056a-49a1-b6d9-0ab13487d31e)

The output is shown below:
```
Prediction: sun
Prediction: sun
Prediction: sun
```
Are we doing anything wrong?

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.