ByteDance-Seed / ByteDance-Seed/ByteCheckpoint
megatron-LM support?
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 290
- Forks
- 22
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Great job！ I saw the example only FSDP backend, is megatron-LM backend supported (like TP, PP parameter segmentation)?
Beitragsleitfaden
Rechercherichtung
Beginne mit dem FSDP-Backend-Beispiel und verfolge, wie die Backend-Unterstützung dargestellt wird. Prüfe, ob die Parametersegmentierung für Megatron-LM Tensor Parallelism (TP) und Pipeline Parallelism (PP) unterstützt wird; als abgeschlossen gilt die Aufgabe, wenn entweder eine klare Aussage zur Unterstützung oder ein vereinbarter Implementierungsumfang vorliegt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100