bigscience-workshop/Megatron-DeepSpeed

Xem trên GitHub

Ongoing research training transformer language models at scale, including: BERT & GPT-2

Star: 1.4k
Fork: 226
Issue cho người mới đang mở: 0
Issue đã lập chỉ mục: 76

Ngôn ngữ chính: Python
Giấy phép: Không có dữ liệu giấy phép
Lần push lên GitHub gần nhất: 8/12/2023
Lập chỉ mục gần nhất: 14/9/2026
Hướng dẫn đóng góp: Không có hướng dẫn đóng góp
Quy tắc ứng xử: Không có quy tắc ứng xử
Label cho người mới: good first issue
Chỉ số merge pull request: Không có pull request nào được merge trong 30 ngày

Đang mở Tất cả

Đã lập chỉ mục 76 issue đang mở

Issue to gather Fixes + New features to send upstream Đang mở

bigscience-workshop/Megatron-DeepSpeed#10 · 1 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement Gradient Noise Scale monitoring Đang mở

arch&scale

bigscience-workshop/Megatron-DeepSpeed#33 · 9 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
DeBERTa-like attention mechanism Đang mở

arch&scale enhancement

bigscience-workshop/Megatron-DeepSpeed#49 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the ML Flow experiment tracker Đang mở

🌍 Carbon

bigscience-workshop/Megatron-DeepSpeed#54 · 9 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
recovering from loss spikes strategies Đang mở

bigscience-workshop/Megatron-DeepSpeed#57 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Calling IndexedDatasetBuilder directly with a best_fit datatype fails Đang mở

bigscience-workshop/Megatron-DeepSpeed#67 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[testing] data size / dynamic downloads - test speed and repo bloat Đang mở

bigscience-workshop/Megatron-DeepSpeed#70 · 2 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Set up a basic MLflow setup Đang mở

MLFlow

bigscience-workshop/Megatron-DeepSpeed#87 · 1 bình luận · 0 reaction · 3 người được giao · Lập chỉ mục 14/9/2026
How to load a tensor+pipeline parallel checkpoint for inference tasks? Đang mở

bigscience-workshop/Megatron-DeepSpeed#95 · 3 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Double counts in parameter count Đang mở

bigscience-workshop/Megatron-DeepSpeed#99 · 2 bình luận · 0 reaction · 2 người được giao · Lập chỉ mục 14/9/2026
Create AWS image with our tools and codebase Đang mở

enhancement

bigscience-workshop/Megatron-DeepSpeed#119 · 9 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Need model size dumped at init Đang mở

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#123 · 5 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
adding consistency calculations/checks at init time Đang mở

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#124 · 11 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Plot scaling laws of our baseline models Đang mở

arch&scale Good First Issue

bigscience-workshop/Megatron-DeepSpeed#125 · 2 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
update converted models to include tokenizer files Đang mở

bigscience-workshop/Megatron-DeepSpeed#127 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
is fused layernorm really better? Đang mở

bigscience-workshop/Megatron-DeepSpeed#136 · 8 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
clone HF's `GPT2` to create `GPTMeg` with a few tiny changes. Đang mở

Good First Issue Good Second Issue

bigscience-workshop/Megatron-DeepSpeed#138 · 6 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
extract and log grad norm for individual layers Đang mở

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#149 · 10 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[prefixLM] Investigate cuda kernels Đang mở

bigscience-workshop/Megatron-DeepSpeed#153 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[Tensorboard] Log text prediction in evaluation Đang mở

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#163 · 14 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Error in Installation due to circular import Đang mở

bigscience-workshop/Megatron-DeepSpeed#173 · 4 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Parallelize Meg CUDA Kernel build system Đang mở

Good Difficult Issue Good First Issue

bigscience-workshop/Megatron-DeepSpeed#174 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[deepspeed pipe] expand the partitioning method to support weights Đang mở

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#186 · 2 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Fix `sample_idxs_to_text.py` to account for skips Đang mở

bigscience-workshop/Megatron-DeepSpeed#189 · 0 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Avoid re-computing model parameter count every iteration Đang mở

bigscience-workshop/Megatron-DeepSpeed#203 · 0 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Make sure deepspeed powered models are equivalent with their non deepspeed version Đang mở

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#226 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
possibly --skip-train-iteration-range with multiple entries has a bug Đang mở

bigscience-workshop/Megatron-DeepSpeed#230 · 13 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
[new feature] train finishing ETA! Đang mở

Good First Issue

bigscience-workshop/Megatron-DeepSpeed#242 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[new feature] add a `tag` to the arguments to load the checkpoint from a specific step (not necessarly the latest) Đang mở

bigscience-workshop/Megatron-DeepSpeed#279 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
DeepSpeedCheckpoint needs to support bf16 optimizer states. Đang mở

bigscience-workshop/Megatron-DeepSpeed#280 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
DeepSpeed checkpoint performance improvements Đang mở

bigscience-workshop/Megatron-DeepSpeed#312 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Multi-node inference with Bloom: Unhandled CUDA error in ProcessGroupNCCL.cpp (called from all_reduce in torch) Đang mở

bigscience-workshop/Megatron-DeepSpeed#318 · 31 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
where can I download the 176B checkpoint in deepspeed format? Đang mở

bigscience-workshop/Megatron-DeepSpeed#319 · 17 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
"Mask is silently ignored due to the use of a custom kernel" with pretrain_gpt_single_node.sh Đang mở

bigscience-workshop/Megatron-DeepSpeed#320 · 4 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Question about downloading checkpoints of 6.3B，2.5B，1.3B Đang mở

bigscience-workshop/Megatron-DeepSpeed#323 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Errors in generation (Bloom) when changing options sampling/use_cache Đang mở

bigscience-workshop/Megatron-DeepSpeed#324 · 29 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Can we also train BLOOM model using tensor using tensor-Parallelism and efficient fused CUDA kernels Đang mở

bigscience-workshop/Megatron-DeepSpeed#334 · 4 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Finetuning BLOOM Đang mở

bigscience-workshop/Megatron-DeepSpeed#337 · 5 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
About convert deepspeed to deepspeed checkpoint Đang mở

bigscience-workshop/Megatron-DeepSpeed#338 · 4 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Installing Apex on Windows Đang mở

bigscience-workshop/Megatron-DeepSpeed#342 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
About reshape deepspeed checkpoint Đang mở

bigscience-workshop/Megatron-DeepSpeed#343 · 20 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
grad norm increase strangely Đang mở

bigscience-workshop/Megatron-DeepSpeed#347 · 12 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Slower inference results for BLOOM fp16 on identical hardware Đang mở

bigscience-workshop/Megatron-DeepSpeed#348 · 5 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Load Bloom Optimizer State (i.e. Bloom 1B1) Đang mở

bigscience-workshop/Megatron-DeepSpeed#350 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
deepspeed_to_megatron several issues Đang mở

bigscience-workshop/Megatron-DeepSpeed#355 · 4 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
User Warnings for accessing grad attribute of non-leaf Tensors thrown with TP=1 and PP>1 Đang mở

bigscience-workshop/Megatron-DeepSpeed#356 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Fatal error: cuda_fp16.h: No such file or directory on ROCm Đang mở

bigscience-workshop/Megatron-DeepSpeed#360 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Is there any script for pretraining/funting Bloom? Đang mở

bigscience-workshop/Megatron-DeepSpeed#363 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Are there any other layer norm functions, such as RMSNorm or DeepNorm Đang mở

bigscience-workshop/Megatron-DeepSpeed#364 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
How to continue pre-training Bloom? Đang mở

bigscience-workshop/Megatron-DeepSpeed#366 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026

bigscience-workshop/Megatron-DeepSpeed

Nhận issue mới trong hộp thư của bạn