huggingface / huggingface/diffusers
universal method or class to load any model locally
Nessuno ha ancora preso questa issue.
- Lingua principale
- Python
- Stelle
- 34.5k
- Fork
- 7.3k
- Merge medio
- 3g 3h
- PR unite (30g)
- 91
Descrizione
90% of the time custom models including gguf files fail to load due to limited availability ".from single file" in all class or config mismatch issues
please provide any class even if it can be made in community examples, just a default class to load all components
lets just say if we use automodel or xyz class
for safetensors
pipe= automodel.from_single_file(model_path, use_safetensors=True, cache_dir=cache_dir, custom_pipeline="", torch_dtype=TORCH_DTYPE, local_files_only=True,)
or for gguf
pipe=automodel.from_single_file(model_path, quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16), torch_dtype=torch.float16, low_cpu_mem_usage=True,)
then dump
components=pipe.components
we can at least get a decent loading in case of aio safetensors and gguf along with optimizations
loading sdxl single aio safetensors or gguf
pipe=StableDiffusionXLPipeline(components)
pipe=StableDiffusionXLImg2ImgPipeline(components)
loading wan single aio safetensors or gguf
pipe=WanPipeline(components)
can be used further more for other models as well flux acestep all other .
if the feature is there please give a hint . it can solve 90% of model loading problems
Thanks in advance
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Iniziare esaminando l’uso proposto di AutoModel.from_single_file, inclusi gli esempi safetensors e GGUF, e confrontarlo con le classi di pipeline indicate StableDiffusionXLPipeline, WanPipeline e le classi di pipeline correlate. Il lavoro sarà considerato completato quando sarà disponibile un’interfaccia di caricamento chiaramente definita che funzioni con i formati dei modelli e le pipeline descritti, con il passaggio dei componenti dimostrato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python, pytorch
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100