deepspeedai/DeepSpeedExamples

Voir sur GitHub

Example models using DeepSpeed

Étoiles: 6.8k
Forks: 1.1k
Issues débutants ouvertes: 0
Issues indexées: 300
Merge moyen: 2 j 16 h
PR mergées (30 j): 1

Langage dominant: Python
Licence: Apache-2.0
Dernier push GitHub: 26/8/2026
Dernière indexation: 20/9/2026
Guide de contribution: Aucun guide de contribution
Code de conduite: Code de conduite
Labels débutants: Aucun label débutant indexé

Accessible aux débutants Tout

Ouverte Toutes

300 issues ouvertes indexées

Compute_rewards in PPO:rewards[j, start:ends[j]][-1] += reward_clip[j] is wrong Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 52/100

deepspeedai/DeepSpeedExamples#996 · Ouverte le 22/12/2025
Step1 failed when I run "bash training_scripts/opt/single_gpu/run_1.3b.sh" Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#995 · Ouverte le 16/12/2025
One example, multiple config files Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 52/100

deepspeedai/DeepSpeedExamples#989 · Ouverte le 8/9/2025
moe example 404 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#984 · Ouverte le 25/7/2025
Possible to include an example of DeepNVMe + state dict Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 42/100

deepspeedai/DeepSpeedExamples#979 · 6 commentaires · Ouverte le 19/6/2025
Apply Zero-3 and LoRA appears empty lora weight [0] Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 38/100

deepspeedai/DeepSpeedExamples#969 · 1 commentaire · Ouverte le 16/4/2025
DeepSpeed-FastGen support ascend npu? Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100

deepspeedai/DeepSpeedExamples#960 · 3 commentaires · Ouverte le 4/3/2025
Why Does vf_loss Take the Maximum Value, Rendering Clamp Meaningless? Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#956 · 2 commentaires · Ouverte le 7/2/2025
Is there any example about DeepSpeed Zero with Ulysses/Ulysses-offload Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 28/100

deepspeedai/DeepSpeedExamples#951 · Ouverte le 10/1/2025
Domino + PP Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#950 · Ouverte le 9/1/2025
Assertion `srcIndex < srcSelectDimSize` failed Ouverte

deepspeedai/DeepSpeedExamples#946 · 1 commentaire · 1 personne assignée · Ouverte le 18/12/2024
Question to attention computation Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#944 · Ouverte le 15/12/2024
KV_cache offload Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#943 · 3 commentaires · 2 réactions · Ouverte le 15/12/2024
How can I change the master_port when using deepspeed for multi-GPU on single node, i.e. localhost Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

deepspeedai/DeepSpeedExamples#936 · 4 commentaires · Ouverte le 20/11/2024
Does DeepSpeed's Pipeline-Parallelism optimizer supports skip connections? Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#932 · Ouverte le 17/10/2024
How to calculate training efficiency ,i.e tokens/sec of step 1 fine tuning of llama2 model ? Ouverte

Difficulté 2/5 1-3 heures Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#923 · Ouverte le 29/8/2024
Actor loss nan and Resizing model embedding Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#922 · 1 commentaire · Ouverte le 29/8/2024
step2 without any response for a long time Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#915 · Ouverte le 15/8/2024
Different zero stage the training memory compute Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#912 · Ouverte le 17/7/2024
an error with gradient checkpointing in DeepspeedChat step 3 Ouverte

deepspeedai/DeepSpeedExamples#908 · 1 personne assignée · Ouverte le 28/6/2024
单机多卡进行RLHF在第三步中使用Qwen模型作Actor Model报错 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#907 · 2 commentaires · Ouverte le 25/6/2024
DeepSpeed-Chat step-1 hanging for a long time Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#906 · Ouverte le 19/6/2024
CPU OOM when inferencing Llama3-70B-Chinese-Chat Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

deepspeedai/DeepSpeedExamples#904 · Ouverte le 20/5/2024
cannot pickle 'Stream' object Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#903 · Ouverte le 17/5/2024
can not run the test-gpt.sh because of assertionError Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#902 · Ouverte le 16/5/2024
请问fastgen 是否支持长文本和序列并行推理 Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100

deepspeedai/DeepSpeedExamples#901 · Ouverte le 14/5/2024
[Error] AutoTune: `connect to host localhost port 22: Connection refused` Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#894 · 1 réaction · Ouverte le 20/4/2024
How to use deepspeed for multi-node and multi-card task in slurm cluster Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#893 · Ouverte le 18/4/2024
Does Zero-Inference support TP? Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#892 · 11 commentaires · Ouverte le 16/4/2024
Deepspeed support finetune extra model with lora ? Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#890 · 1 commentaire · Ouverte le 12/4/2024
The actor constantly generates ['</s>'] or ['<|endoftext|></s>'] after 200 steps in RLHF with hybrid engine disabled Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#887 · 1 commentaire · Ouverte le 9/4/2024
About multiple-thread attention computation on CPU using zero-inference example. Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#886 · Ouverte le 4/4/2024
Suggested GPU to run the demo code of step2_reward_model_finetuning (DeepSpeed-Chat) Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#885 · Ouverte le 4/4/2024
[REQUEST] More fine-grained distributed strategies for RLHF training Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#884 · Ouverte le 3/4/2024
The reward value did not increase. Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#883 · 1 commentaire · Ouverte le 2/4/2024
Confusion about Deepspeed Inference Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#879 · 1 commentaire · Ouverte le 25/3/2024
`AttributeError: readonly attribute` while trying to run training/HelloDeepSpeed Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 35/100

deepspeedai/DeepSpeedExamples#878 · Ouverte le 21/3/2024
[Bug] DeepSpeed Inference Does not Work with LLaMA (Latest verison) Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

deepspeedai/DeepSpeedExamples#867 · 3 commentaires · Ouverte le 29/2/2024
[BUG in Stable Diffusion inference] There's an error on CUDAGraph when using deepspeed inference. How to fix it? Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

deepspeedai/DeepSpeedExamples#866 · 2 commentaires · Ouverte le 29/2/2024
zero3 and enable hybrid engine are not suitable for llama2, how to solve it? Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 30/100

deepspeedai/DeepSpeedExamples#864 · 3 commentaires · Ouverte le 26/2/2024
RLHF problems when using Qwen model Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#861 · 1 commentaire · Ouverte le 22/2/2024
Codellama finetune Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#860 · Ouverte le 19/2/2024
Throughput should be `num_queries/latency` as opposed to `num_clients/latency`? Ouverte

Difficulté 3/5 1-2 jours Accessibilité débutants 38/100

deepspeedai/DeepSpeedExamples#858 · Ouverte le 3/2/2024
The inaccurate flop results after several rounds Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#855 · 1 commentaire · Ouverte le 19/1/2024
remove redundant code Ouverte

Difficulté 1/5 Moins d'une heure Accessibilité débutants 45/100

deepspeedai/DeepSpeedExamples#852 · Ouverte le 13/1/2024
Question: Why not padding to the same sequence length within the batch during the sft training phase? Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 35/100

deepspeedai/DeepSpeedExamples#849 · Ouverte le 12/1/2024
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1333, remote process exited or there was a network error, NCCL version 2.18.6 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

deepspeedai/DeepSpeedExamples#845 · 4 commentaires · Ouverte le 8/1/2024
Invalidate trace cache @ step 0: expected module 0, but got module 6 Ouverte

Difficulté 4/5 3-5 jours Accessibilité débutants 18/100

deepspeedai/DeepSpeedExamples#840 · Ouverte le 31/12/2023
async_pipeline is not exposed in the library Ouverte

Difficulté 1/5 Moins d'une heure Accessibilité débutants 48/100

deepspeedai/DeepSpeedExamples#835 · 1 commentaire · Ouverte le 20/12/2023
Mistral and Orca Training Ouverte

Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

deepspeedai/DeepSpeedExamples#832 · Ouverte le 14/12/2023

deepspeedai/DeepSpeedExamples

Recevez les nouvelles issues par e-mail