bigscience-workshop / bigscience-workshop/Megatron-DeepSpeed
DeepSpeedCheckpoint needs to support bf16 optimizer states.
- Lingua principale
- Python
- Stelle
- 1.4k
- Fork
- 226
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
https://github.com/bigscience-workshop/Megatron-DeepSpeed/blob/a72225908e9bbda4d989bcdecd71c3c4a05a7f71/tools/convert_checkpoint/deepspeed_checkpoint.py#L5 seems wrong since the files generated using bf16 have `bf16_zero_pp_rank` as prefix.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia dalla riga indicata in tools/convert_checkpoint/deepspeed_checkpoint.py e verifica come vengono riconosciuti i nomi dei file degli stati dell’ottimizzatore. Confronta questa logica con il prefisso del nome file bf16 menzionato nell’issue. Il lavoro è completato quando DeepSpeedCheckpoint accetta i file generati con stati dell’ottimizzatore bf16; verifica il percorso di conversione usando nomi di file di questo tipo, se è disponibile un checkpoint locale adatto.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Stato di attività
- Ferma
- Chiarezza
- Specificata chiaramente
- Idoneità per principianti
- 35/100