codefuse-ai / codefuse-ai/MFTCoder

基于qwen模型使用coba训练后,权重合并错误

Offen
#86 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
712
Forks
69
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Traceback (most recent call last):
File "/data/demo/MFTCoder/mftcoder_accelerate/src/pefts/merge_base_and_lora_to_hf.py", line 82, in
model_to_merge = PeftModel.from_pretrained(base_model, lora_adapter)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 355, in from_pretrained
model = MODEL_TYPE_TO_PEFT_MODEL_MAPPING[config.task_type](model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 1094, in __init__
super().__init__(model, peft_config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/peft_model.py", line 129, in __init__
self.base_model = cls(model, {adapter_name: peft_config}, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/lora/model.py", line 136, in __init__
super().__init__(model, config, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 148, in __init__
self.inject_adapter(self.model, adapter_name)
File "/root/miniconda3/envs/mft/lib/python3.9/site-packages/peft/tuners/tuners_utils.py", line 328, in inject_adapter
raise ValueError(
ValueError: Target modules {'c_proj', 'w1', 'c_attn', 'w2'} not found in the base model. Please check the target modules and try again.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne bei src/pefts/merge_base_and_lora_to_hf.py in Zeile 82 und verfolge den Aufruf von PeftModel.from_pretrained, der den Fehler auslöst. Vergleiche das Basismodell und die Zielmodule des Adapters, einschließlich c_proj, w1, c_attn und w2; die Aufgabe ist abgeschlossen, wenn die Qwen-Gewichte ohne den target-modules ValueError zusammengeführt werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.