deepspeedai/DeepSpeedExamples

Auf GitHub ansehen

Example models using DeepSpeed

Sterne: 6.8k
Forks: 1.1k
Offene Anfänger-Issues: 0
Indexierte Issues: 300
Ø Merge: 2 T. 16 Std.
Gemergte PRs (30 T.): 1

Vorherrschende Sprache: Python
Lizenz: Apache-2.0
Letzter GitHub-Push: 26.8.2026
Zuletzt indexiert: 20.9.2026
Beitragsleitfaden: Kein Beitragsleitfaden
Verhaltenskodex: Verhaltenskodex
Anfänger-Labels: Keine Anfänger-Labels indexiert

Einsteigerfreundlich Alles

Offen Alle

Bisher 300 offene Issues indexiert

Compute_rewards in PPO:rewards[j, start:ends[j]][-1] += reward_clip[j] is wrong Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 52/100

deepspeedai/DeepSpeedExamples#996 · Erstellt am 22.12.2025
Step1 failed when I run "bash training_scripts/opt/single_gpu/run_1.3b.sh" Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#995 · Erstellt am 16.12.2025
One example, multiple config files Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 52/100

deepspeedai/DeepSpeedExamples#989 · Erstellt am 08.9.2025
moe example 404 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#984 · Erstellt am 25.7.2025
Possible to include an example of DeepNVMe + state dict Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

deepspeedai/DeepSpeedExamples#979 · 6 Kommentare · Erstellt am 19.6.2025
Apply Zero-3 and LoRA appears empty lora weight [0] Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

deepspeedai/DeepSpeedExamples#969 · 1 Kommentar · Erstellt am 16.4.2025
DeepSpeed-FastGen support ascend npu? Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

deepspeedai/DeepSpeedExamples#960 · 3 Kommentare · Erstellt am 04.3.2025
Why Does vf_loss Take the Maximum Value, Rendering Clamp Meaningless? Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#956 · 2 Kommentare · Erstellt am 07.2.2025
Is there any example about DeepSpeed Zero with Ulysses/Ulysses-offload Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 28/100

deepspeedai/DeepSpeedExamples#951 · Erstellt am 10.1.2025
Domino + PP Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#950 · Erstellt am 09.1.2025
Assertion `srcIndex < srcSelectDimSize` failed Offen

deepspeedai/DeepSpeedExamples#946 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 18.12.2024
Question to attention computation Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#944 · Erstellt am 15.12.2024
KV_cache offload Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#943 · 3 Kommentare · 2 Reaktionen · Erstellt am 15.12.2024
How can I change the master_port when using deepspeed for multi-GPU on single node, i.e. localhost Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100

deepspeedai/DeepSpeedExamples#936 · 4 Kommentare · Erstellt am 20.11.2024
Does DeepSpeed's Pipeline-Parallelism optimizer supports skip connections? Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#932 · Erstellt am 17.10.2024
How to calculate training efficiency ,i.e tokens/sec of step 1 fine tuning of llama2 model ? Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#923 · Erstellt am 29.8.2024
Actor loss nan and Resizing model embedding Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#922 · 1 Kommentar · Erstellt am 29.8.2024
step2 without any response for a long time Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#915 · Erstellt am 15.8.2024
Different zero stage the training memory compute Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#912 · Erstellt am 17.7.2024
an error with gradient checkpointing in DeepspeedChat step 3 Offen

deepspeedai/DeepSpeedExamples#908 · 1 zugewiesene Person · Erstellt am 28.6.2024
单机多卡进行RLHF在第三步中使用Qwen模型作Actor Model报错 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#907 · 2 Kommentare · Erstellt am 25.6.2024
DeepSpeed-Chat step-1 hanging for a long time Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#906 · Erstellt am 19.6.2024
CPU OOM when inferencing Llama3-70B-Chinese-Chat Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

deepspeedai/DeepSpeedExamples#904 · Erstellt am 20.5.2024
cannot pickle 'Stream' object Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#903 · Erstellt am 17.5.2024
can not run the test-gpt.sh because of assertionError Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#902 · Erstellt am 16.5.2024
请问fastgen 是否支持长文本和序列并行推理 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100

deepspeedai/DeepSpeedExamples#901 · Erstellt am 14.5.2024
[Error] AutoTune: `connect to host localhost port 22: Connection refused` Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#894 · 1 Reaktion · Erstellt am 20.4.2024
How to use deepspeed for multi-node and multi-card task in slurm cluster Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#893 · Erstellt am 18.4.2024
Does Zero-Inference support TP? Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#892 · 11 Kommentare · Erstellt am 16.4.2024
Deepspeed support finetune extra model with lora ? Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#890 · 1 Kommentar · Erstellt am 12.4.2024
The actor constantly generates ['</s>'] or ['<|endoftext|></s>'] after 200 steps in RLHF with hybrid engine disabled Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#887 · 1 Kommentar · Erstellt am 09.4.2024
About multiple-thread attention computation on CPU using zero-inference example. Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#886 · Erstellt am 04.4.2024
Suggested GPU to run the demo code of step2_reward_model_finetuning (DeepSpeed-Chat) Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#885 · Erstellt am 04.4.2024
[REQUEST] More fine-grained distributed strategies for RLHF training Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#884 · Erstellt am 03.4.2024
The reward value did not increase. Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#883 · 1 Kommentar · Erstellt am 02.4.2024
Confusion about Deepspeed Inference Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#879 · 1 Kommentar · Erstellt am 25.3.2024
`AttributeError: readonly attribute` while trying to run training/HelloDeepSpeed Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 35/100

deepspeedai/DeepSpeedExamples#878 · Erstellt am 21.3.2024
[Bug] DeepSpeed Inference Does not Work with LLaMA (Latest verison) Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

deepspeedai/DeepSpeedExamples#867 · 3 Kommentare · Erstellt am 29.2.2024
[BUG in Stable Diffusion inference] There's an error on CUDAGraph when using deepspeed inference. How to fix it? Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

deepspeedai/DeepSpeedExamples#866 · 2 Kommentare · Erstellt am 29.2.2024
zero3 and enable hybrid engine are not suitable for llama2, how to solve it? Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100

deepspeedai/DeepSpeedExamples#864 · 3 Kommentare · Erstellt am 26.2.2024
RLHF problems when using Qwen model Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#861 · 1 Kommentar · Erstellt am 22.2.2024
Codellama finetune Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#860 · Erstellt am 19.2.2024
Throughput should be `num_queries/latency` as opposed to `num_clients/latency`? Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 38/100

deepspeedai/DeepSpeedExamples#858 · Erstellt am 03.2.2024
The inaccurate flop results after several rounds Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#855 · 1 Kommentar · Erstellt am 19.1.2024
remove redundant code Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 45/100

deepspeedai/DeepSpeedExamples#852 · Erstellt am 13.1.2024
Question: Why not padding to the same sequence length within the batch during the sft training phase? Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

deepspeedai/DeepSpeedExamples#849 · Erstellt am 12.1.2024
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1333, remote process exited or there was a network error, NCCL version 2.18.6 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

deepspeedai/DeepSpeedExamples#845 · 4 Kommentare · Erstellt am 08.1.2024
Invalidate trace cache @ step 0: expected module 0, but got module 6 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 18/100

deepspeedai/DeepSpeedExamples#840 · Erstellt am 31.12.2023
async_pipeline is not exposed in the library Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 48/100

deepspeedai/DeepSpeedExamples#835 · 1 Kommentar · Erstellt am 20.12.2023
Mistral and Orca Training Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

deepspeedai/DeepSpeedExamples#832 · Erstellt am 14.12.2023

deepspeedai/DeepSpeedExamples

Neue Issues direkt in Ihr Postfach