codefuse-ai / codefuse-ai/MFTCoder

基于qwen模型使用coba训练后,权重合并错误

Aperta
#86 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
712
Fork
69
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Traceback (most recent call last):
File "/data/demo/MFTCoder/mftcoder_accelerate/src/pefts/merge_base_and_lora_to_hf.py", line 82, in
model_to_merge = PeftModel.from_pretrained(base_model, lora_adapter)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 355, in from_pretrained
model = MODEL_TYPE_TO_PEFT_MODEL_MAPPING[config.task_type](model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 1094, in __init__
super().__init__(model, peft_config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 129, in __init__
self.base_model = cls(model, {adapter_name: peft_config}, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/lora/model.py", line 136, in __init__
super().__init__(model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 148, in __init__
self.inject_adapter(self.model, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 328, in inject_adapter
raise ValueError(
ValueError: Target modules {'c_proj', 'w1', 'c_attn', 'w2'} not found in the base model. Please check the target modules and try again.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia da src/pefts/merge_base_and_lora_to_hf.py alla riga 82 e segui la chiamata a PeftModel.from_pretrained che genera l'errore. Confronta il modello di base e i moduli target dell'adapter, inclusi c_proj, w1, c_attn e w2; il lavoro è completato quando i pesi Qwen possono essere uniti senza il target-modules ValueError.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.