ByteDance-Seed / ByteDance-Seed/ByteCheckpoint
megatron-LM support?
Aperta
- Lingua principale
- Python
- Stelle
- 290
- Fork
- 22
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Great job！ I saw the example only FSDP backend, is megatron-LM backend supported (like TP, PP parameter segmentation)?
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia con l’esempio del backend FSDP e segui come viene rappresentato il supporto dei backend. Verifica se è supportata la segmentazione dei parametri di Megatron-LM Tensor Parallelism (TP) e Pipeline Parallelism (PP); il lavoro è completato quando è disponibile una risposta chiara sul supporto oppure un ambito di implementazione concordato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100