huggingface / huggingface/diffusers

`from_single_file()` support missing/incomplete for Ideogram4 and Krea2 transformers

Offen
#14,122 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug feature-request models single-file
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### Describe the bug

Neither `Ideogram4Transformer2DModel` nor `Krea2Transformer2DModel` currently support `from_single_file()`, though
for different reasons.

**Ideogram4Transformer2DModel** inherits `FromOriginalModelMixin` (since it was added in #13859), but it was never
added to `SINGLE_FILE_LOADABLE_CLASSES` in `src/diffusers/loaders/single_file_model.py`, and no
`convert_ideogram4_transformer_checkpoint_to_diffusers`-style mapping function exists in `single_file_utils.py`.
Calling `from_single_file()` on it currently raises unconditionally, since
`_get_single_file_loadable_mapping_class()` can only match classes that are registered in
`SINGLE_FILE_LOADABLE_CLASSES`:

For comparison, other recently added transformers (Cosmos, Flux2, ZImage, ...) both inherit the mixin *and* have a
`checkpoint_mapping_fn` registered.

**Krea2Transformer2DModel** doesn't inherit `FromOriginalModelMixin` at all, so `from_single_file` isn't even
defined on the class. This looks like it may simply be because there's no public checkpoint (original or
diffusers-format) to convert from yet — the docs mention loading "from a local directory produced by the Krea 2

Drafted by Claude, but confirmed, except the internals above

### Reproduction

```python
from diffusers import Ideogram4Transformer2DModel

Ideogram4Transformer2DModel.from_single_file("some/checkpoint.safetensors")
# ValueError: ...
```

### Logs

```shell

```

### System Info

cbdb63798bc627e35ca6656265b7185e7618ad92

### Who can help?

Questions on single file checkpoints: @DN6

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne in src/diffusers/loaders/single_file_model.py und src/diffusers/loaders/single_file_utils.py und vergleiche die Cosmos-, Flux2- und ZImage-Registrierungen sowie die Mapping-Funktionen. Reproduziere den Ideogram4-Fehler und untersuche anschließend Krea2Transformer2DModel und die Dokumentation zum Laden, um den vorgesehenen Umfang festzulegen. Als erledigt gilt die Aufgabe, wenn Ideogram4 die erforderliche Single-File-Registrierung und das Mapping besitzt und die Unterstützung für Krea2 geklärt oder ihre Voraussetzung dokumentiert ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
48/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.