bigscience-workshop/Megatron-DeepSpeed

GitHub で見る

Ongoing research training transformer language models at scale, including: BERT & GPT-2

スター: 1.4k
フォーク: 226
オープンの初心者向け issue: 0
索引済み issue: 76

主要言語: Python
ライセンス: ライセンスのデータがありません
最終 GitHub push: 2023年12月8日
最新の索引: 2026年9月14日
コントリビューションガイド: コントリビューションガイドがありません
行動規範: 行動規範がありません
初心者向けラベル: good first issue
PR マージ指標: 30日以内にマージされた PR はありません

オープンすべて

オープンの issue を 76 件索引しました

Issue to gather Fixes + New features to send upstream オープン

bigscience-workshop/Megatron-DeepSpeed#10 · コメント 1 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
Implement Gradient Noise Scale monitoring オープン

arch&scale

bigscience-workshop/Megatron-DeepSpeed#33 · コメント 9 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
DeBERTa-like attention mechanism オープン

arch&scale enhancement

bigscience-workshop/Megatron-DeepSpeed#49 · コメント 0 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
Implement the ML Flow experiment tracker オープン

🌍 Carbon

bigscience-workshop/Megatron-DeepSpeed#54 · コメント 9 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
recovering from loss spikes strategies オープン

bigscience-workshop/Megatron-DeepSpeed#57 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Calling IndexedDatasetBuilder directly with a best_fit datatype fails オープン

bigscience-workshop/Megatron-DeepSpeed#67 · コメント 1 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
[testing] data size / dynamic downloads - test speed and repo bloat オープン

bigscience-workshop/Megatron-DeepSpeed#70 · コメント 2 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
Set up a basic MLflow setup オープン

MLFlow

bigscience-workshop/Megatron-DeepSpeed#87 · コメント 1 件 · リアクション 0 件 · 担当者 3 名 · 2026年9月14日に索引
How to load a tensor+pipeline parallel checkpoint for inference tasks? オープン

bigscience-workshop/Megatron-DeepSpeed#95 · コメント 3 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
Double counts in parameter count オープン

bigscience-workshop/Megatron-DeepSpeed#99 · コメント 2 件 · リアクション 0 件 · 担当者 2 名 · 2026年9月14日に索引
Create AWS image with our tools and codebase オープン

enhancement

bigscience-workshop/Megatron-DeepSpeed#119 · コメント 9 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Need model size dumped at init オープン

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#123 · コメント 5 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
adding consistency calculations/checks at init time オープン

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#124 · コメント 11 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Plot scaling laws of our baseline models オープン

arch&scale Good First Issue

bigscience-workshop/Megatron-DeepSpeed#125 · コメント 2 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
update converted models to include tokenizer files オープン

bigscience-workshop/Megatron-DeepSpeed#127 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
is fused layernorm really better? オープン

bigscience-workshop/Megatron-DeepSpeed#136 · コメント 8 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
clone HF's `GPT2` to create `GPTMeg` with a few tiny changes. オープン

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#138 · コメント 6 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
extract and log grad norm for individual layers オープン

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#149 · コメント 10 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
[prefixLM] Investigate cuda kernels オープン

bigscience-workshop/Megatron-DeepSpeed#153 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
[Tensorboard] Log text prediction in evaluation オープン

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#163 · コメント 14 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
Error in Installation due to circular import オープン

bigscience-workshop/Megatron-DeepSpeed#173 · コメント 4 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
Parallelize Meg CUDA Kernel build system オープン

Good Difficult Issue Good First Issue

bigscience-workshop/Megatron-DeepSpeed#174 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
[deepspeed pipe] expand the partitioning method to support weights オープン

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#186 · コメント 2 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
Fix `sample_idxs_to_text.py` to account for skips オープン

bigscience-workshop/Megatron-DeepSpeed#189 · コメント 0 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
Avoid re-computing model parameter count every iteration オープン

bigscience-workshop/Megatron-DeepSpeed#203 · コメント 0 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
Make sure deepspeed powered models are equivalent with their non deepspeed version オープン

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#226 · コメント 2 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
possibly --skip-train-iteration-range with multiple entries has a bug オープン

bigscience-workshop/Megatron-DeepSpeed#230 · コメント 13 件 · リアクション 0 件 · 担当者 1 名 · 2026年9月14日に索引
[new feature] train finishing ETA! オープン

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#242 · コメント 2 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
[new feature] add a `tag` to the arguments to load the checkpoint from a specific step (not necessarly the latest) オープン

bigscience-workshop/Megatron-DeepSpeed#279 · コメント 0 件 · リアクション 1 件 · 担当者 0 名 · 2026年9月14日に索引
DeepSpeedCheckpoint needs to support bf16 optimizer states. オープン

bigscience-workshop/Megatron-DeepSpeed#280 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
DeepSpeed checkpoint performance improvements オープン

bigscience-workshop/Megatron-DeepSpeed#312 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Multi-node inference with Bloom: Unhandled CUDA error in ProcessGroupNCCL.cpp (called from all_reduce in torch) オープン

bigscience-workshop/Megatron-DeepSpeed#318 · コメント 31 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
where can I download the 176B checkpoint in deepspeed format? オープン

bigscience-workshop/Megatron-DeepSpeed#319 · コメント 17 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
"Mask is silently ignored due to the use of a custom kernel" with pretrain_gpt_single_node.sh オープン

bigscience-workshop/Megatron-DeepSpeed#320 · コメント 4 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Question about downloading checkpoints of 6.3B，2.5B，1.3B オープン

bigscience-workshop/Megatron-DeepSpeed#323 · コメント 3 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Errors in generation (Bloom) when changing options sampling/use_cache オープン

bigscience-workshop/Megatron-DeepSpeed#324 · コメント 29 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Can we also train BLOOM model using tensor using tensor-Parallelism and efficient fused CUDA kernels オープン

bigscience-workshop/Megatron-DeepSpeed#334 · コメント 4 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Finetuning BLOOM オープン

bigscience-workshop/Megatron-DeepSpeed#337 · コメント 5 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
About convert deepspeed to deepspeed checkpoint オープン

bigscience-workshop/Megatron-DeepSpeed#338 · コメント 4 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Installing Apex on Windows オープン

bigscience-workshop/Megatron-DeepSpeed#342 · コメント 1 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
About reshape deepspeed checkpoint オープン

bigscience-workshop/Megatron-DeepSpeed#343 · コメント 20 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
grad norm increase strangely オープン

bigscience-workshop/Megatron-DeepSpeed#347 · コメント 12 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Slower inference results for BLOOM fp16 on identical hardware オープン

bigscience-workshop/Megatron-DeepSpeed#348 · コメント 5 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Load Bloom Optimizer State (i.e. Bloom 1B1) オープン

bigscience-workshop/Megatron-DeepSpeed#350 · コメント 2 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
deepspeed_to_megatron several issues オープン

bigscience-workshop/Megatron-DeepSpeed#355 · コメント 4 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
User Warnings for accessing grad attribute of non-leaf Tensors thrown with TP=1 and PP>1 オープン

bigscience-workshop/Megatron-DeepSpeed#356 · コメント 3 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Fatal error: cuda_fp16.h: No such file or directory on ROCm オープン

bigscience-workshop/Megatron-DeepSpeed#360 · コメント 1 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Is there any script for pretraining/funting Bloom? オープン

bigscience-workshop/Megatron-DeepSpeed#363 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
Are there any other layer norm functions, such as RMSNorm or DeepNorm オープン

bigscience-workshop/Megatron-DeepSpeed#364 · コメント 0 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引
How to continue pre-training Bloom? オープン

bigscience-workshop/Megatron-DeepSpeed#366 · コメント 2 件 · リアクション 0 件 · 担当者 0 名 · 2026年9月14日に索引

bigscience-workshop/Megatron-DeepSpeed

新しい issue をメールで受け取る