huggingface / huggingface/diffusers

universal method or class to load any model locally

Aperta
#13,683 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

feature-request gguf pipelines quantization single-file
Lingua principale
Python
Stelle
34.5k
Fork
7.3k
Merge medio
3g 3h
PR unite (30g)
91

Descrizione

90% of the time custom models including gguf files fail to load due to limited availability ".from single file" in all class or config mismatch issues

please provide any class even if it can be made in community examples, just a default class to load all components

lets just say if we use automodel or xyz class
for safetensors
pipe= automodel.from_single_file(model_path, use_safetensors=True, cache_dir=cache_dir, custom_pipeline="", torch_dtype=TORCH_DTYPE, local_files_only=True,)
or for gguf
pipe=automodel.from_single_file(model_path, quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16), torch_dtype=torch.float16, low_cpu_mem_usage=True,)
then dump
components=pipe.components

we can at least get a decent loading in case of aio safetensors and gguf along with optimizations
loading sdxl single aio safetensors or gguf
pipe=StableDiffusionXLPipeline(components)
pipe=StableDiffusionXLImg2ImgPipeline(components)
loading wan single aio safetensors or gguf
pipe=WanPipeline(components)
can be used further more for other models as well flux acestep all other .

if the feature is there please give a hint . it can solve 90% of model loading problems
Thanks in advance

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Iniziare esaminando l’uso proposto di AutoModel.from_single_file, inclusi gli esempi safetensors e GGUF, e confrontarlo con le classi di pipeline indicate StableDiffusionXLPipeline, WanPipeline e le classi di pipeline correlate. Il lavoro sarà considerato completato quando sarà disponibile un’interfaccia di caricamento chiaramente definita che funzioni con i formati dei modelli e le pipeline descritti, con il passaggio dei componenti dimostrato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.