deepspeedai/DeepSpeedExamples

Vedi su GitHub

Example models using DeepSpeed

Stelle: 6.8k
Fork: 1.1k
Issue aperte per principianti: 0
Issue indicizzate: 300
Merge medio: 2g 16h
PR unite (30g): 1

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 26/8/2026
Ultima indicizzazione: 20/9/2026
Guida per i contributori: Nessuna guida per i contributori
Codice di condotta: Codice di condotta
Label per principianti: Nessuna label per principianti indicizzata

Adatte ai principianti Tutto

Aperta Tutte

300 issue aperte indicizzate

Compute_rewards in PPO:rewards[j, start:ends[j]][-1] += reward_clip[j] is wrong Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

deepspeedai/DeepSpeedExamples#996 · Aperta il 22/12/2025
Step1 failed when I run "bash training_scripts/opt/single_gpu/run_1.3b.sh" Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#995 · Aperta il 16/12/2025
One example, multiple config files Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 52/100

deepspeedai/DeepSpeedExamples#989 · Aperta il 8/9/2025
moe example 404 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#984 · Aperta il 25/7/2025
Possible to include an example of DeepNVMe + state dict Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

deepspeedai/DeepSpeedExamples#979 · 6 commenti · Aperta il 19/6/2025
Apply Zero-3 and LoRA appears empty lora weight [0] Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

deepspeedai/DeepSpeedExamples#969 · 1 commento · Aperta il 16/4/2025
DeepSpeed-FastGen support ascend npu? Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100

deepspeedai/DeepSpeedExamples#960 · 3 commenti · Aperta il 4/3/2025
Why Does vf_loss Take the Maximum Value, Rendering Clamp Meaningless? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#956 · 2 commenti · Aperta il 7/2/2025
Is there any example about DeepSpeed Zero with Ulysses/Ulysses-offload Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100

deepspeedai/DeepSpeedExamples#951 · Aperta il 10/1/2025
Domino + PP Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#950 · Aperta il 9/1/2025
Assertion `srcIndex < srcSelectDimSize` failed Aperta

deepspeedai/DeepSpeedExamples#946 · 1 commento · 1 assegnatario · Aperta il 18/12/2024
Question to attention computation Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#944 · Aperta il 15/12/2024
KV_cache offload Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#943 · 3 commenti · 2 reazioni · Aperta il 15/12/2024
How can I change the master_port when using deepspeed for multi-GPU on single node, i.e. localhost Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

deepspeedai/DeepSpeedExamples#936 · 4 commenti · Aperta il 20/11/2024
Does DeepSpeed's Pipeline-Parallelism optimizer supports skip connections? Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#932 · Aperta il 17/10/2024
How to calculate training efficiency ,i.e tokens/sec of step 1 fine tuning of llama2 model ? Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#923 · Aperta il 29/8/2024
Actor loss nan and Resizing model embedding Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#922 · 1 commento · Aperta il 29/8/2024
step2 without any response for a long time Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#915 · Aperta il 15/8/2024
Different zero stage the training memory compute Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#912 · Aperta il 17/7/2024
an error with gradient checkpointing in DeepspeedChat step 3 Aperta

deepspeedai/DeepSpeedExamples#908 · 1 assegnatario · Aperta il 28/6/2024
单机多卡进行RLHF在第三步中使用Qwen模型作Actor Model报错 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#907 · 2 commenti · Aperta il 25/6/2024
DeepSpeed-Chat step-1 hanging for a long time Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#906 · Aperta il 19/6/2024
CPU OOM when inferencing Llama3-70B-Chinese-Chat Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeedExamples#904 · Aperta il 20/5/2024
cannot pickle 'Stream' object Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#903 · Aperta il 17/5/2024
can not run the test-gpt.sh because of assertionError Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#902 · Aperta il 16/5/2024
请问fastgen 是否支持长文本和序列并行推理 Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100

deepspeedai/DeepSpeedExamples#901 · Aperta il 14/5/2024
[Error] AutoTune: `connect to host localhost port 22: Connection refused` Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#894 · 1 reazione · Aperta il 20/4/2024
How to use deepspeed for multi-node and multi-card task in slurm cluster Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#893 · Aperta il 18/4/2024
Does Zero-Inference support TP? Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#892 · 11 commenti · Aperta il 16/4/2024
Deepspeed support finetune extra model with lora ? Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#890 · 1 commento · Aperta il 12/4/2024
The actor constantly generates ['</s>'] or ['<|endoftext|></s>'] after 200 steps in RLHF with hybrid engine disabled Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#887 · 1 commento · Aperta il 9/4/2024
About multiple-thread attention computation on CPU using zero-inference example. Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#886 · Aperta il 4/4/2024
Suggested GPU to run the demo code of step2_reward_model_finetuning (DeepSpeed-Chat) Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#885 · Aperta il 4/4/2024
[REQUEST] More fine-grained distributed strategies for RLHF training Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#884 · Aperta il 3/4/2024
The reward value did not increase. Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#883 · 1 commento · Aperta il 2/4/2024
Confusion about Deepspeed Inference Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#879 · 1 commento · Aperta il 25/3/2024
`AttributeError: readonly attribute` while trying to run training/HelloDeepSpeed Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeedExamples#878 · Aperta il 21/3/2024
[Bug] DeepSpeed Inference Does not Work with LLaMA (Latest verison) Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeedExamples#867 · 3 commenti · Aperta il 29/2/2024
[BUG in Stable Diffusion inference] There's an error on CUDAGraph when using deepspeed inference. How to fix it? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeedExamples#866 · 2 commenti · Aperta il 29/2/2024
zero3 and enable hybrid engine are not suitable for llama2, how to solve it? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

deepspeedai/DeepSpeedExamples#864 · 3 commenti · Aperta il 26/2/2024
RLHF problems when using Qwen model Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#861 · 1 commento · Aperta il 22/2/2024
Codellama finetune Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#860 · Aperta il 19/2/2024
Throughput should be `num_queries/latency` as opposed to `num_clients/latency`? Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 38/100

deepspeedai/DeepSpeedExamples#858 · Aperta il 3/2/2024
The inaccurate flop results after several rounds Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#855 · 1 commento · Aperta il 19/1/2024
remove redundant code Aperta

Difficoltà 1/5 Meno di un'ora Idoneità per principianti 45/100

deepspeedai/DeepSpeedExamples#852 · Aperta il 13/1/2024
Question: Why not padding to the same sequence length within the batch during the sft training phase? Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

deepspeedai/DeepSpeedExamples#849 · Aperta il 12/1/2024
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1333, remote process exited or there was a network error, NCCL version 2.18.6 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

deepspeedai/DeepSpeedExamples#845 · 4 commenti · Aperta il 8/1/2024
Invalidate trace cache @ step 0: expected module 0, but got module 6 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 18/100

deepspeedai/DeepSpeedExamples#840 · Aperta il 31/12/2023
async_pipeline is not exposed in the library Aperta

Difficoltà 1/5 Meno di un'ora Idoneità per principianti 48/100

deepspeedai/DeepSpeedExamples#835 · 1 commento · Aperta il 20/12/2023
Mistral and Orca Training Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

deepspeedai/DeepSpeedExamples#832 · Aperta il 14/12/2023

deepspeedai/DeepSpeedExamples

Ricevi le nuove issue nella tua casella