huggingface / huggingface/diffusers

Various Chroma pipeline issues

Offen
#12,112 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug stale
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

### Describe the bug

Some minor issues that I have found while using the Chroma pipeline for the first time:

- if `sentencepiece` is not installed, you get a quite cryptic error message. Other pipelines such as Flux give you a nice error message that `sentencepiece` has to be installed
- `The config attributes {'guidance_embeds': False, 'pooled_projection_dim': 768} were passed to ChromaTransformer2DModel, but are not expected and will be ignored. Please verify your config.json configuration file.`
Chroma does not use CLIP, only T5, so there is no pooled projection. and does not use a guidance embedding as Flux - but I guess this is an issue with the config file, not the diffusers pipeline
- this code https://github.com/huggingface/diffusers/blob/03c3f69aa57a6cc2c995d41ea484195d719a240a/src/diffusers/pipelines/chroma/pipeline_chroma.py#L806 seems unnecessary, because dynamic timestep shifting is disabled in Chroma's scheduler config: https://huggingface.co/lodestones/Chroma1-HD/blob/main/scheduler/scheduler_config.json
confirmed by the actual timesteps that are used:
`(Pdb) timesteps
tensor([1000., 975., 950., 925., 900., 875., 850., 825., 800., 775.,
750., 725., 700., 675., 650., 625., 600., 575., 550., 525.,
500., 475., 450., 425., 400., 375., 350., 325., 300., 275.,
250., 225., 200., 175., 150., 125., 100., 75., 50., 25.],
device='cuda:0')`
- Chroma's official repo is `lodestones/Chroma1-HD` now. This could be updated in your pipeline example code: https://huggingface.co/docs/diffusers/main/api/pipelines/chroma

### Reproduction

run the sample code here https://huggingface.co/docs/diffusers/main/api/pipelines/chroma

### Logs

```shell

```

### System Info

diffusers HEAD, python 3.11.11

### Who can help?

_No response_

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, das Chroma-Beispiel aus der Pipeline-Dokumentation auszuführen, und prüfe den referenzierten Code in src/diffusers/pipelines/chroma/pipeline_chroma.py um Zeile 806. Überprüfe jedes gemeldete Problem mit Abhängigkeiten, Konfigurationswarnungen, dem Scheduler und dem Beispielmodell separat. Als erledigt gilt die Aufgabe, wenn die aufgeführten Probleme behoben oder eindeutig als externe Konfigurationsprobleme bestätigt wurden und das Chroma-Beispiel auf den aktuellen Stand des Repositorys aktualisiert wurde.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.