huggingface / huggingface/diffusers

Help us profile important pipelines and improve if needed

Offen
#13,401 42 Kommentare 2 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
diffusers-mvp performance
Vorherrschende Sprache
Python
Sterne
34.5k
Forks
7.3k
Ø Merge
3 T. 3 Std.
Gemergte PRs (30 T.)
91

Beschreibung

In https://github.com/huggingface/diffusers/pull/13356, we added a guide to comprehensively profile our pipelines with Claude. It, in turn, helped us get rid of issues that can get in the way of the benefits provided by `torch.compile`.

We cannot profile all our important pipelines alone, and this is where the community could really help us! In this thread, we want to gather interest from our community for such an initiative.

## How to take part?

* Take a pipeline of your choice (start with T2I or T2V first, as it's simpler than others). Then discuss with us here to gauge feasibility (not all pipelines are equally widely used). Tag `dg845` and `sayakpaul` while discussing.
* If there's mutual agreement, profile the pipeline following the steps outlined in the [guide](https://github.com/huggingface/diffusers/tree/main/examples/profiling).
* If there are fixes to be made, open a PR to ship the fixes. Also, include the results before and after those fixes.

## PRs merged with profiling-guided improvements

* QwenImage: https://github.com/huggingface/diffusers/pull/13406
* Z-Image: https://github.com/huggingface/diffusers/pull/13461
* LTX2: https://github.com/huggingface/diffusers/pull/13564

## PRs in progress

* None for now

## Pipelines worth profiling further

* QwenImage Edit
* SD3
* Flux.1-Kontext
* Ernie-Image
* Chroma
* JoyImage

Feel free to suggest yours, too!

Cc: @dg845

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem Lesen des Leitfadens in examples/profiling und prüfe die dort aufgeführten Kandidaten-Pipelines, angefangen mit einer T2I- oder T2V-Pipeline. Besprich die ausgewählte Pipeline mit dg845 und sayakpaul, bevor du sie profilierst. Als abgeschlossen gilt die Aufgabe, wenn du Profiling-Ergebnisse vor und nach der Änderung bereitstellst und für alle identifizierten Fixes einen PR eröffnest.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
machine-learning, performance
Issue-Typ
Refactoring
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Aktiv
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.