bigscience-workshop/Megatron-DeepSpeed

Voir sur GitHub

Ongoing research training transformer language models at scale, including: BERT & GPT-2

Étoiles: 1.4k
Forks: 226
Issues débutants ouvertes: 0
Issues indexées: 76

Langage dominant: Python
Licence: Aucune donnée de licence
Dernier push GitHub: 8/12/2023
Dernière indexation: 14/9/2026
Guide de contribution: Aucun guide de contribution
Code de conduite: Aucun code de conduite
Labels débutants: good first issue
Métriques de merge des PR: Aucune PR mergée en 30 j

Ouverte Toutes

76 issues ouvertes indexées

Issue to gather Fixes + New features to send upstream Ouverte

bigscience-workshop/Megatron-DeepSpeed#10 · 1 commentaire · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
Implement Gradient Noise Scale monitoring Ouverte

arch&scale

bigscience-workshop/Megatron-DeepSpeed#33 · 9 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
DeBERTa-like attention mechanism Ouverte

arch&scale enhancement

bigscience-workshop/Megatron-DeepSpeed#49 · 0 commentaires · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
Implement the ML Flow experiment tracker Ouverte

🌍 Carbon

bigscience-workshop/Megatron-DeepSpeed#54 · 9 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
recovering from loss spikes strategies Ouverte

bigscience-workshop/Megatron-DeepSpeed#57 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Calling IndexedDatasetBuilder directly with a best_fit datatype fails Ouverte

bigscience-workshop/Megatron-DeepSpeed#67 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
[testing] data size / dynamic downloads - test speed and repo bloat Ouverte

bigscience-workshop/Megatron-DeepSpeed#70 · 2 commentaires · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
Set up a basic MLflow setup Ouverte

MLFlow

bigscience-workshop/Megatron-DeepSpeed#87 · 1 commentaire · 0 réactions · 3 personnes assignées · Indexée le 14/9/2026
How to load a tensor+pipeline parallel checkpoint for inference tasks? Ouverte

bigscience-workshop/Megatron-DeepSpeed#95 · 3 commentaires · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
Double counts in parameter count Ouverte

bigscience-workshop/Megatron-DeepSpeed#99 · 2 commentaires · 0 réactions · 2 personnes assignées · Indexée le 14/9/2026
Create AWS image with our tools and codebase Ouverte

enhancement

bigscience-workshop/Megatron-DeepSpeed#119 · 9 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Need model size dumped at init Ouverte

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#123 · 5 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
adding consistency calculations/checks at init time Ouverte

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#124 · 11 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Plot scaling laws of our baseline models Ouverte

arch&scale Good First Issue

bigscience-workshop/Megatron-DeepSpeed#125 · 2 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
update converted models to include tokenizer files Ouverte

bigscience-workshop/Megatron-DeepSpeed#127 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
is fused layernorm really better? Ouverte

bigscience-workshop/Megatron-DeepSpeed#136 · 8 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
clone HF's `GPT2` to create `GPTMeg` with a few tiny changes. Ouverte

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#138 · 6 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
extract and log grad norm for individual layers Ouverte

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#149 · 10 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
[prefixLM] Investigate cuda kernels Ouverte

bigscience-workshop/Megatron-DeepSpeed#153 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
[Tensorboard] Log text prediction in evaluation Ouverte

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#163 · 14 commentaires · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
Error in Installation due to circular import Ouverte

bigscience-workshop/Megatron-DeepSpeed#173 · 4 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
Parallelize Meg CUDA Kernel build system Ouverte

Good Difficult Issue Good First Issue

bigscience-workshop/Megatron-DeepSpeed#174 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
[deepspeed pipe] expand the partitioning method to support weights Ouverte

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#186 · 2 commentaires · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
Fix `sample_idxs_to_text.py` to account for skips Ouverte

bigscience-workshop/Megatron-DeepSpeed#189 · 0 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
Avoid re-computing model parameter count every iteration Ouverte

bigscience-workshop/Megatron-DeepSpeed#203 · 0 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
Make sure deepspeed powered models are equivalent with their non deepspeed version Ouverte

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#226 · 2 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
possibly --skip-train-iteration-range with multiple entries has a bug Ouverte

bigscience-workshop/Megatron-DeepSpeed#230 · 13 commentaires · 0 réactions · 1 personne assignée · Indexée le 14/9/2026
[new feature] train finishing ETA! Ouverte

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#242 · 2 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
[new feature] add a `tag` to the arguments to load the checkpoint from a specific step (not necessarly the latest) Ouverte

bigscience-workshop/Megatron-DeepSpeed#279 · 0 commentaires · 1 réaction · 0 personnes assignées · Indexée le 14/9/2026
DeepSpeedCheckpoint needs to support bf16 optimizer states. Ouverte

bigscience-workshop/Megatron-DeepSpeed#280 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
DeepSpeed checkpoint performance improvements Ouverte

bigscience-workshop/Megatron-DeepSpeed#312 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Multi-node inference with Bloom: Unhandled CUDA error in ProcessGroupNCCL.cpp (called from all_reduce in torch) Ouverte

bigscience-workshop/Megatron-DeepSpeed#318 · 31 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
where can I download the 176B checkpoint in deepspeed format? Ouverte

bigscience-workshop/Megatron-DeepSpeed#319 · 17 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
"Mask is silently ignored due to the use of a custom kernel" with pretrain_gpt_single_node.sh Ouverte

bigscience-workshop/Megatron-DeepSpeed#320 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Question about downloading checkpoints of 6.3B，2.5B，1.3B Ouverte

bigscience-workshop/Megatron-DeepSpeed#323 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Errors in generation (Bloom) when changing options sampling/use_cache Ouverte

bigscience-workshop/Megatron-DeepSpeed#324 · 29 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Can we also train BLOOM model using tensor using tensor-Parallelism and efficient fused CUDA kernels Ouverte

bigscience-workshop/Megatron-DeepSpeed#334 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Finetuning BLOOM Ouverte

bigscience-workshop/Megatron-DeepSpeed#337 · 5 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
About convert deepspeed to deepspeed checkpoint Ouverte

bigscience-workshop/Megatron-DeepSpeed#338 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Installing Apex on Windows Ouverte

bigscience-workshop/Megatron-DeepSpeed#342 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
About reshape deepspeed checkpoint Ouverte

bigscience-workshop/Megatron-DeepSpeed#343 · 20 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
grad norm increase strangely Ouverte

bigscience-workshop/Megatron-DeepSpeed#347 · 12 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Slower inference results for BLOOM fp16 on identical hardware Ouverte

bigscience-workshop/Megatron-DeepSpeed#348 · 5 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Load Bloom Optimizer State (i.e. Bloom 1B1) Ouverte

bigscience-workshop/Megatron-DeepSpeed#350 · 2 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
deepspeed_to_megatron several issues Ouverte

bigscience-workshop/Megatron-DeepSpeed#355 · 4 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
User Warnings for accessing grad attribute of non-leaf Tensors thrown with TP=1 and PP>1 Ouverte

bigscience-workshop/Megatron-DeepSpeed#356 · 3 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Fatal error: cuda_fp16.h: No such file or directory on ROCm Ouverte

bigscience-workshop/Megatron-DeepSpeed#360 · 1 commentaire · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Is there any script for pretraining/funting Bloom? Ouverte

bigscience-workshop/Megatron-DeepSpeed#363 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
Are there any other layer norm functions, such as RMSNorm or DeepNorm Ouverte

bigscience-workshop/Megatron-DeepSpeed#364 · 0 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026
How to continue pre-training Bloom? Ouverte

bigscience-workshop/Megatron-DeepSpeed#366 · 2 commentaires · 0 réactions · 0 personnes assignées · Indexée le 14/9/2026

bigscience-workshop/Megatron-DeepSpeed

Recevez les nouvelles issues par e-mail