huggingface / huggingface/diffusers

`from_single_file()` support missing/incomplete for Ideogram4 and Krea2 transformers

Aperta
#14,122 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
bug feature-request models single-file
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

### Describe the bug

Neither `Ideogram4Transformer2DModel` nor `Krea2Transformer2DModel` currently support `from_single_file()`, though
for different reasons.

**Ideogram4Transformer2DModel** inherits `FromOriginalModelMixin` (since it was added in #13859), but it was never
added to `SINGLE_FILE_LOADABLE_CLASSES` in `src/diffusers/loaders/single_file_model.py`, and no
`convert_ideogram4_transformer_checkpoint_to_diffusers`-style mapping function exists in `single_file_utils.py`.
Calling `from_single_file()` on it currently raises unconditionally, since
`_get_single_file_loadable_mapping_class()` can only match classes that are registered in
`SINGLE_FILE_LOADABLE_CLASSES`:

For comparison, other recently added transformers (Cosmos, Flux2, ZImage, ...) both inherit the mixin *and* have a
`checkpoint_mapping_fn` registered.

**Krea2Transformer2DModel** doesn't inherit `FromOriginalModelMixin` at all, so `from_single_file` isn't even
defined on the class. This looks like it may simply be because there's no public checkpoint (original or
diffusers-format) to convert from yet — the docs mention loading "from a local directory produced by the Krea 2

Drafted by Claude, but confirmed, except the internals above

### Reproduction

```python
from diffusers import Ideogram4Transformer2DModel

Ideogram4Transformer2DModel.from_single_file("some/checkpoint.safetensors")
# ValueError: ...
```

### Logs

```shell

```

### System Info

cbdb63798bc627e35ca6656265b7185e7618ad92

### Who can help?

Questions on single file checkpoints: @DN6

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia in src/diffusers/loaders/single_file_model.py e src/diffusers/loaders/single_file_utils.py, confrontando le registrazioni e le funzioni di mapping di Cosmos, Flux2 e ZImage. Riproduci il problema di Ideogram4, quindi esamina Krea2Transformer2DModel e la relativa documentazione di caricamento per stabilire l’ambito previsto. Il lavoro è completo quando Ideogram4 dispone della registrazione e del mapping single-file richiesti e il supporto per Krea2 è risolto oppure il suo prerequisito è documentato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
48/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.