bigscience-workshop/Megatron-DeepSpeed

在 GitHub 查看

Ongoing research training transformer language models at scale, including: BERT & GPT-2

星标: 1.4k
派生: 226
开放的新手 issue: 0
已索引 issue: 76

主要语言: Python
许可证: 没有许可证数据
最近 GitHub push: 2023年12月8日
最近索引: 2026年9月14日
贡献指南: 没有贡献指南
行为准则: 没有行为准则
新手标签: good first issue
PR 合并指标: 30 天内没有已合并 PR

未关闭全部

目前已索引 76 个未关闭的 Issue

Issue to gather Fixes + New features to send upstream 未关闭

bigscience-workshop/Megatron-DeepSpeed#10 · 1 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Implement Gradient Noise Scale monitoring 未关闭

arch&scale

bigscience-workshop/Megatron-DeepSpeed#33 · 9 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
DeBERTa-like attention mechanism 未关闭

arch&scale enhancement

bigscience-workshop/Megatron-DeepSpeed#49 · 0 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Implement the ML Flow experiment tracker 未关闭

🌍 Carbon

bigscience-workshop/Megatron-DeepSpeed#54 · 9 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
recovering from loss spikes strategies 未关闭

bigscience-workshop/Megatron-DeepSpeed#57 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Calling IndexedDatasetBuilder directly with a best_fit datatype fails 未关闭

bigscience-workshop/Megatron-DeepSpeed#67 · 1 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
[testing] data size / dynamic downloads - test speed and repo bloat 未关闭

bigscience-workshop/Megatron-DeepSpeed#70 · 2 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Set up a basic MLflow setup 未关闭

MLFlow

bigscience-workshop/Megatron-DeepSpeed#87 · 1 条评论 · 0 个 reaction · 已指派 3 人 · 索引于 2026年9月14日
How to load a tensor+pipeline parallel checkpoint for inference tasks? 未关闭

bigscience-workshop/Megatron-DeepSpeed#95 · 3 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Double counts in parameter count 未关闭

bigscience-workshop/Megatron-DeepSpeed#99 · 2 条评论 · 0 个 reaction · 已指派 2 人 · 索引于 2026年9月14日
Create AWS image with our tools and codebase 未关闭

enhancement

bigscience-workshop/Megatron-DeepSpeed#119 · 9 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Need model size dumped at init 未关闭

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#123 · 5 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
adding consistency calculations/checks at init time 未关闭

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#124 · 11 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Plot scaling laws of our baseline models 未关闭

arch&scale Good First Issue

bigscience-workshop/Megatron-DeepSpeed#125 · 2 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
update converted models to include tokenizer files 未关闭

bigscience-workshop/Megatron-DeepSpeed#127 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
is fused layernorm really better? 未关闭

bigscience-workshop/Megatron-DeepSpeed#136 · 8 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
clone HF's `GPT2` to create `GPTMeg` with a few tiny changes. 未关闭

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#138 · 6 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
extract and log grad norm for individual layers 未关闭

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#149 · 10 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
[prefixLM] Investigate cuda kernels 未关闭

bigscience-workshop/Megatron-DeepSpeed#153 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
[Tensorboard] Log text prediction in evaluation 未关闭

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#163 · 14 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Error in Installation due to circular import 未关闭

bigscience-workshop/Megatron-DeepSpeed#173 · 4 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
Parallelize Meg CUDA Kernel build system 未关闭

Good Difficult Issue Good First Issue

bigscience-workshop/Megatron-DeepSpeed#174 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
[deepspeed pipe] expand the partitioning method to support weights 未关闭

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#186 · 2 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Fix `sample_idxs_to_text.py` to account for skips 未关闭

bigscience-workshop/Megatron-DeepSpeed#189 · 0 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
Avoid re-computing model parameter count every iteration 未关闭

bigscience-workshop/Megatron-DeepSpeed#203 · 0 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
Make sure deepspeed powered models are equivalent with their non deepspeed version 未关闭

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#226 · 2 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
possibly --skip-train-iteration-range with multiple entries has a bug 未关闭

bigscience-workshop/Megatron-DeepSpeed#230 · 13 条评论 · 0 个 reaction · 已指派 1 人 · 索引于 2026年9月14日
[new feature] train finishing ETA! 未关闭

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#242 · 2 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
[new feature] add a `tag` to the arguments to load the checkpoint from a specific step (not necessarly the latest) 未关闭

bigscience-workshop/Megatron-DeepSpeed#279 · 0 条评论 · 1 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
DeepSpeedCheckpoint needs to support bf16 optimizer states. 未关闭

bigscience-workshop/Megatron-DeepSpeed#280 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
DeepSpeed checkpoint performance improvements 未关闭

bigscience-workshop/Megatron-DeepSpeed#312 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Multi-node inference with Bloom: Unhandled CUDA error in ProcessGroupNCCL.cpp (called from all_reduce in torch) 未关闭

bigscience-workshop/Megatron-DeepSpeed#318 · 31 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
where can I download the 176B checkpoint in deepspeed format? 未关闭

bigscience-workshop/Megatron-DeepSpeed#319 · 17 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
"Mask is silently ignored due to the use of a custom kernel" with pretrain_gpt_single_node.sh 未关闭

bigscience-workshop/Megatron-DeepSpeed#320 · 4 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Question about downloading checkpoints of 6.3B，2.5B，1.3B 未关闭

bigscience-workshop/Megatron-DeepSpeed#323 · 3 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Errors in generation (Bloom) when changing options sampling/use_cache 未关闭

bigscience-workshop/Megatron-DeepSpeed#324 · 29 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Can we also train BLOOM model using tensor using tensor-Parallelism and efficient fused CUDA kernels 未关闭

bigscience-workshop/Megatron-DeepSpeed#334 · 4 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Finetuning BLOOM 未关闭

bigscience-workshop/Megatron-DeepSpeed#337 · 5 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
About convert deepspeed to deepspeed checkpoint 未关闭

bigscience-workshop/Megatron-DeepSpeed#338 · 4 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Installing Apex on Windows 未关闭

bigscience-workshop/Megatron-DeepSpeed#342 · 1 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
About reshape deepspeed checkpoint 未关闭

bigscience-workshop/Megatron-DeepSpeed#343 · 20 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
grad norm increase strangely 未关闭

bigscience-workshop/Megatron-DeepSpeed#347 · 12 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Slower inference results for BLOOM fp16 on identical hardware 未关闭

bigscience-workshop/Megatron-DeepSpeed#348 · 5 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Load Bloom Optimizer State (i.e. Bloom 1B1) 未关闭

bigscience-workshop/Megatron-DeepSpeed#350 · 2 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
deepspeed_to_megatron several issues 未关闭

bigscience-workshop/Megatron-DeepSpeed#355 · 4 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
User Warnings for accessing grad attribute of non-leaf Tensors thrown with TP=1 and PP>1 未关闭

bigscience-workshop/Megatron-DeepSpeed#356 · 3 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Fatal error: cuda_fp16.h: No such file or directory on ROCm 未关闭

bigscience-workshop/Megatron-DeepSpeed#360 · 1 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Is there any script for pretraining/funting Bloom? 未关闭

bigscience-workshop/Megatron-DeepSpeed#363 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
Are there any other layer norm functions, such as RMSNorm or DeepNorm 未关闭

bigscience-workshop/Megatron-DeepSpeed#364 · 0 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日
How to continue pre-training Bloom? 未关闭

bigscience-workshop/Megatron-DeepSpeed#366 · 2 条评论 · 0 个 reaction · 已指派 0 人 · 索引于 2026年9月14日

bigscience-workshop/Megatron-DeepSpeed

把新 issue 发到你的邮箱