如何多卡merge合并？

Offen

#748 erstellt am 12.6.2024 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Vorherrschende Sprache: Python
Sterne: 2k
Forks: 1.5k
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beschreibung

【正确】在微调llama3-70B的时候，可以双卡微调，两张A800-80G足够。
【错误】但进行merge合并时，无法多卡合并，只能单卡合并，因此显存不足，执行NPROC_PER_NODE=2 xtuner convert merge跟CUDA_VISIBLE_DEVICES=0,1 xtuner convert merge均会报错。
【错误图片】
![image](https://github.com/InternLM/Tutorial/assets/8604432/2e44a9b7-6c2b-4888-94be-9c524bde5bd1)
【显存图片】
![image](https://github.com/InternLM/Tutorial/assets/8604432/f989899b-0d7c-40ae-a4cf-2f2e2d3eaf7f)

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

如何多卡merge合并？

Beschreibung

Beitragsleitfaden

Bewertung

Neue Issues direkt in Ihr Postfach