codefuse-ai / codefuse-ai/MFTCoder
基于qwen模型使用coba训练后,权重合并错误
- Lingua principale
- Python
- Stelle
- 712
- Fork
- 69
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Traceback (most recent call last):
File "/data/demo/MFTCoder/mftcoder_accelerate/src/pefts/merge_base_and_lora_to_hf.py", line 82, in
model_to_merge = PeftModel.from_pretrained(base_model, lora_adapter)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 355, in from_pretrained
model = MODEL_TYPE_TO_PEFT_MODEL_MAPPING[config.task_type](model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 1094, in __init__
super().__init__(model, peft_config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 129, in __init__
self.base_model = cls(model, {adapter_name: peft_config}, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/lora/model.py", line 136, in __init__
super().__init__(model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 148, in __init__
self.inject_adapter(self.model, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 328, in inject_adapter
raise ValueError(
ValueError: Target modules {'c_proj', 'w1', 'c_attn', 'w2'} not found in the base model. Please check the target modules and try again.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia da src/pefts/merge_base_and_lora_to_hf.py alla riga 82 e segui la chiamata a PeftModel.from_pretrained che genera l'errore. Confronta il modello di base e i moduli target dell'adapter, inclusi c_proj, w1, c_attn e w2; il lavoro è completato quando i pesi Qwen possono essere uniti senza il target-modules ValueError.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100