deepspeedai/DeepSpeedExamples

Ver en GitHub

Example models using DeepSpeed

Estrellas: 6.8k
Forks: 1.1k
Issues abiertos para principiantes: 0
Issues indexados: 300
Merge medio: 2 d 16 h
PR fusionados (30 d): 1

Lenguaje dominante: Python
Licencia: Apache-2.0
Último push a GitHub: 26/8/2026
Última indexación: 20/9/2026
Guía de contribución: Sin guía de contribución
Código de conducta: Código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

300 issues abiertos indexados

Compute_rewards in PPO:rewards[j, start:ends[j]][-1] += reward_clip[j] is wrong Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

deepspeedai/DeepSpeedExamples#996 · Abierto el 22/12/2025
Step1 failed when I run "bash training_scripts/opt/single_gpu/run_1.3b.sh" Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#995 · Abierto el 16/12/2025
One example, multiple config files Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

deepspeedai/DeepSpeedExamples#989 · Abierto el 8/9/2025
moe example 404 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#984 · Abierto el 25/7/2025
Possible to include an example of DeepNVMe + state dict Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

deepspeedai/DeepSpeedExamples#979 · 6 comentarios · Abierto el 19/6/2025
Apply Zero-3 and LoRA appears empty lora weight [0] Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

deepspeedai/DeepSpeedExamples#969 · 1 comentario · Abierto el 16/4/2025
DeepSpeed-FastGen support ascend npu? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

deepspeedai/DeepSpeedExamples#960 · 3 comentarios · Abierto el 4/3/2025
Why Does vf_loss Take the Maximum Value, Rendering Clamp Meaningless? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#956 · 2 comentarios · Abierto el 7/2/2025
Is there any example about DeepSpeed Zero with Ulysses/Ulysses-offload Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 28/100

deepspeedai/DeepSpeedExamples#951 · Abierto el 10/1/2025
Domino + PP Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#950 · Abierto el 9/1/2025
Assertion `srcIndex < srcSelectDimSize` failed Abierto

deepspeedai/DeepSpeedExamples#946 · 1 comentario · 1 asignado · Abierto el 18/12/2024
Question to attention computation Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#944 · Abierto el 15/12/2024
KV_cache offload Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#943 · 3 comentarios · 2 reacciones · Abierto el 15/12/2024
How can I change the master_port when using deepspeed for multi-GPU on single node, i.e. localhost Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 30/100

deepspeedai/DeepSpeedExamples#936 · 4 comentarios · Abierto el 20/11/2024
Does DeepSpeed's Pipeline-Parallelism optimizer supports skip connections? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#932 · Abierto el 17/10/2024
How to calculate training efficiency ,i.e tokens/sec of step 1 fine tuning of llama2 model ? Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#923 · Abierto el 29/8/2024
Actor loss nan and Resizing model embedding Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#922 · 1 comentario · Abierto el 29/8/2024
step2 without any response for a long time Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#915 · Abierto el 15/8/2024
Different zero stage the training memory compute Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#912 · Abierto el 17/7/2024
an error with gradient checkpointing in DeepspeedChat step 3 Abierto

deepspeedai/DeepSpeedExamples#908 · 1 asignado · Abierto el 28/6/2024
单机多卡进行RLHF在第三步中使用Qwen模型作Actor Model报错 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#907 · 2 comentarios · Abierto el 25/6/2024
DeepSpeed-Chat step-1 hanging for a long time Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#906 · Abierto el 19/6/2024
CPU OOM when inferencing Llama3-70B-Chinese-Chat Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

deepspeedai/DeepSpeedExamples#904 · Abierto el 20/5/2024
cannot pickle 'Stream' object Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#903 · Abierto el 17/5/2024
can not run the test-gpt.sh because of assertionError Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#902 · Abierto el 16/5/2024
请问fastgen 是否支持长文本和序列并行推理 Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100

deepspeedai/DeepSpeedExamples#901 · Abierto el 14/5/2024
[Error] AutoTune: `connect to host localhost port 22: Connection refused` Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#894 · 1 reacción · Abierto el 20/4/2024
How to use deepspeed for multi-node and multi-card task in slurm cluster Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#893 · Abierto el 18/4/2024
Does Zero-Inference support TP? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#892 · 11 comentarios · Abierto el 16/4/2024
Deepspeed support finetune extra model with lora ? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#890 · 1 comentario · Abierto el 12/4/2024
The actor constantly generates ['</s>'] or ['<|endoftext|></s>'] after 200 steps in RLHF with hybrid engine disabled Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#887 · 1 comentario · Abierto el 9/4/2024
About multiple-thread attention computation on CPU using zero-inference example. Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#886 · Abierto el 4/4/2024
Suggested GPU to run the demo code of step2_reward_model_finetuning (DeepSpeed-Chat) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#885 · Abierto el 4/4/2024
[REQUEST] More fine-grained distributed strategies for RLHF training Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#884 · Abierto el 3/4/2024
The reward value did not increase. Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#883 · 1 comentario · Abierto el 2/4/2024
Confusion about Deepspeed Inference Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#879 · 1 comentario · Abierto el 25/3/2024
`AttributeError: readonly attribute` while trying to run training/HelloDeepSpeed Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

deepspeedai/DeepSpeedExamples#878 · Abierto el 21/3/2024
[Bug] DeepSpeed Inference Does not Work with LLaMA (Latest verison) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

deepspeedai/DeepSpeedExamples#867 · 3 comentarios · Abierto el 29/2/2024
[BUG in Stable Diffusion inference] There's an error on CUDAGraph when using deepspeed inference. How to fix it? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

deepspeedai/DeepSpeedExamples#866 · 2 comentarios · Abierto el 29/2/2024
zero3 and enable hybrid engine are not suitable for llama2, how to solve it? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 30/100

deepspeedai/DeepSpeedExamples#864 · 3 comentarios · Abierto el 26/2/2024
RLHF problems when using Qwen model Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#861 · 1 comentario · Abierto el 22/2/2024
Codellama finetune Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#860 · Abierto el 19/2/2024
Throughput should be `num_queries/latency` as opposed to `num_clients/latency`? Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 38/100

deepspeedai/DeepSpeedExamples#858 · Abierto el 3/2/2024
The inaccurate flop results after several rounds Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#855 · 1 comentario · Abierto el 19/1/2024
remove redundant code Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 45/100

deepspeedai/DeepSpeedExamples#852 · Abierto el 13/1/2024
Question: Why not padding to the same sequence length within the batch during the sft training phase? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

deepspeedai/DeepSpeedExamples#849 · Abierto el 12/1/2024
torch.distributed.DistBackendError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:1333, remote process exited or there was a network error, NCCL version 2.18.6 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

deepspeedai/DeepSpeedExamples#845 · 4 comentarios · Abierto el 8/1/2024
Invalidate trace cache @ step 0: expected module 0, but got module 6 Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 18/100

deepspeedai/DeepSpeedExamples#840 · Abierto el 31/12/2023
async_pipeline is not exposed in the library Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 48/100

deepspeedai/DeepSpeedExamples#835 · 1 comentario · Abierto el 20/12/2023
Mistral and Orca Training Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

deepspeedai/DeepSpeedExamples#832 · Abierto el 14/12/2023

deepspeedai/DeepSpeedExamples

Recibe los nuevos issues en tu correo