microsoft / microsoft/TransformerCompression
How to finetune with multi-gpus under data parallel setting?
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 460
- Forks
- 58
- Ø Merge
- 8 Std. 40 Min.
- Gemergte PRs (30 T.)
- 1
Beschreibung
Many thanks for sharing the amazing work!
I'm trying to finetune sliced 7b model on some large dataset with millions of samples.
But the distribute-model seems to be model parallel.
How can we finetune on the model with, let's say 8 gpus, under data parallel setting ?
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne damit, den distribute-model-Einstiegspunkt und alle umgebenden Dokumentationen zum Fine-Tuning zu lesen, um zu bestimmen, wie sich sein Modellparallelismus-Verhalten von der angeforderten Datenparallel-Konfiguration unterscheidet. Das Issue nennt keine Dateien oder Tests; für den Abschluss wäre entweder ein abgestimmter, reproduzierbarer Fine-Tuning-Pfad für mehrere GPUs oder eine Dokumentation erforderlich, die erklärt, ob dies unterstützt wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- distributed-systems, machine-learning
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100