huggingface / huggingface/diffusers

[Community pipeline] Echo-Memory overlay for Wan 2.1 1.3B

Ouverte
#14,482 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
feature-request pipelines
Langage dominant
Python
Étoiles
34.5k
Forks
7.3k
Merge moyen
3 j 3 h
PR mergées (30 j)
91

Description

### Model/Pipeline/Scheduler description

Request to add a **GitHub community pipeline** that overlays the released Echo-Memory `context_k1` DiT fine-tune onto official Diffusers Wan 2.1 1.3B.

This is not a new official Wan checkpoint and not the full Echo-Memory multi-chunk / camera-action / SSM research stack. It remaps original DiffSynth/Wan transformer keys onto `WanPipeline.transformer` (825 / 825 official keys) so users can load:

```python
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
"Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
custom_pipeline="pipeline_echo_memory",
torch_dtype=torch.bfloat16,
)
pipe.load_echo_memory_weights()
```

PR: https://github.com/huggingface/diffusers/pull/14471

### Open source status

- [x] The model implementation is available.
- [x] The model weights are available (Only relevant if addition is not a scheduler).

### Provide useful links for the implementation

- Paper: https://arxiv.org/abs/2606.09803
- Code: https://github.com/Echo-Team-Joy-Future-Academy-JD/Echo-Memory
- Original keys: https://huggingface.co/Echo-Team/Echo-Memory (`context_k1/epoch-0.safetensors`)
- Converted transformer + Hub custom pipeline: https://huggingface.co/Wayne-King/echo-memory-diffusers
- Authors: @WayneJin0918 / Echo Team

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Examiner le PR #14471 avec le code Echo-Memory et le transformer/custom pipeline converti indiqué dans l’issue. Vérifier que la pipeline communautaire charge le modèle officiel Wan 2.1 1.3B, remappe les 825 transformer keys et que load_echo_memory_weights() fonctionne avec l’exemple documenté de DiffusionPipeline.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, pytorch
Domaine
machine-learning
Type d'issue
Fonctionnalité
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.