NVIDIA/TransformerEngine

Vedi su GitHub

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

Stelle: 3.5k
Fork: 831
Issue aperte per principianti: 2
Issue indicizzate: 163
Merge medio: 3g 11h
PR unite (30g): 65

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 19/9/2026
Ultima indicizzazione: 19/9/2026
Guida per i contributori: Guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: Nessuna label per principianti indicizzata

Adatte ai principianti Tutto

Aperta Tutte

163 issue aperte indicizzate

Preserve NaN through half-precision MXFP8 amax reductions Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

NVIDIA/TransformerEngine#3550 · Aperta il 19/9/2026
FA4 returns an all-zero output for causal attention on SM100 after flash-attention #2490 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100

NVIDIA/TransformerEngine#3528 · 3 commenti · Aperta il 16/9/2026
Graph-Safe FP8 BlockScaling Support on Blackwell for GroupedLinear Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

NVIDIA/TransformerEngine#3520 · Aperta il 15/9/2026
MXFP8 GEMM rejects compact unswizzled scales that quantize_ accepts Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100

NVIDIA/TransformerEngine#3518 · 2 commenti · Aperta il 15/9/2026
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical Aperta

attention

Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

NVIDIA/TransformerEngine#3487 · Aperta il 5/9/2026
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run it Aperta

attention

Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100

NVIDIA/TransformerEngine#3481 · 4 commenti · Aperta il 4/9/2026
[Bug] Illegal memory access in grouped MXFP8 quantize on GB200 (sm_100) introduced by #3337; TMA store completion handoff missing in group_quantize_mxfp8.cuh Aperta

NVIDIA/TransformerEngine#3474 · 6 commenti · 1 assegnatario · Aperta il 3/9/2026
Tied weights do not accumulate with delayed wgrad Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

NVIDIA/TransformerEngine#3437 · 3 commenti · Aperta il 28/8/2026
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1` Aperta

NVIDIA/TransformerEngine#3381 · 3 commenti · 1 assegnatario · Aperta il 13/8/2026
[Bug] Triton mask-map moe_permute ignores num_out_tokens Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100

NVIDIA/TransformerEngine#3346 · 2 commenti · Aperta il 11/8/2026
[Bug] Deferred init issue in `te.pytorch.ops` Aperta

bug

NVIDIA/TransformerEngine#3322 · 1 commento · 1 assegnatario · Aperta il 6/8/2026
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mamba Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

NVIDIA/TransformerEngine#3316 · Aperta il 4/8/2026
thd + attention_dropout routes to the composite cuDNN SDPA engine and costs 5x on Blackwell Aperta

attention

NVIDIA/TransformerEngine#3312 · 1 assegnatario · Aperta il 4/8/2026
[Build] Publish PyTorch 2.11 CUDA 13 aarch64 wheels for GB200 Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

NVIDIA/TransformerEngine#3310 · Aperta il 4/8/2026
[Build] Restore CUDA 13 Linux aarch64 core wheels Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

NVIDIA/TransformerEngine#3309 · Aperta il 4/8/2026
[Bug] Transformer Engine SM120 (Blackwell) Compatibility Issue Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100

NVIDIA/TransformerEngine#3299 · 1 commento · Aperta il 3/8/2026
[Bug] Using `QuantizedTensor` on CPU causes a `RecursionError` Aperta

bug

Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100

NVIDIA/TransformerEngine#3294 · 4 commenti · Aperta il 30/7/2026
[Bug] FusedAttention THD + learnable softmax backward IMA (cuDNN err 700) on Hopper Aperta

attention bug

NVIDIA/TransformerEngine#3249 · 6 commenti · 1 assegnatario · Aperta il 24/7/2026
FP8 DPA future token leakage Aperta

attention bug

Difficoltà 5/5 Più di una settimana Idoneità per principianti 38/100

NVIDIA/TransformerEngine#3248 · 1 commento · Aperta il 24/7/2026
cuDNN to accept actual seqlens in addition to cumulative seqlens Aperta

attention

NVIDIA/TransformerEngine#3218 · 1 commento · 1 assegnatario · Aperta il 16/7/2026
[BUG] NVFP4 fails on RTX 5070 Laptop (SM120): CUDA Error: no kernel image is available for execution on the device Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 50/100

NVIDIA/TransformerEngine#3217 · 2 commenti · Aperta il 16/7/2026
[PyTorch] FusedAdam/multi_tensor_apply: OOB metadata writes when a zero-numel tensor lands in the last TensorListMetadata slot (CUDA IMA / misaligned address; silent corruption below threshold) Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100

NVIDIA/TransformerEngine#3202 · Aperta il 10/7/2026
[PyTorch] Request a migration path for downstream `_GroupedLinear` integrations after the 2.17 signature change Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

NVIDIA/TransformerEngine#3191 · 2 commenti · Aperta il 8/7/2026
Plumb dbias request in isolation into the common backend selector Aperta

attention bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

NVIDIA/TransformerEngine#3188 · Aperta il 8/7/2026
Improve readability of dgrad_reduce_scatter_overlap variable name Aperta

NVIDIA/TransformerEngine#3164 · 1 commento · 1 assegnatario · Aperta il 2/7/2026
Hybrid quantization follow-ups Aperta

bug

NVIDIA/TransformerEngine#3158 · 1 assegnatario · Aperta il 30/6/2026
Track recipe config changes for quantizer rebuilds Aperta

bug

NVIDIA/TransformerEngine#3157 · 1 assegnatario · Aperta il 30/6/2026
Multi-GPU FP8 (accelerate.dispatch_model + DelayedScaling HYBRID) — illegal memory access on H200 sm_90 Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 38/100

NVIDIA/TransformerEngine#3124 · 3 commenti · Aperta il 12/6/2026
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation) Aperta

question

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

NVIDIA/TransformerEngine#3105 · Aperta il 8/6/2026
`test_comm_gemm_overlap.py::test_multi_layer_with_overlap_bf16` fails on A100 Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

NVIDIA/TransformerEngine#3097 · Aperta il 5/6/2026
Low-overhead stateless functional quantize/GEMM API (plain tensors in → out) Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100

NVIDIA/TransformerEngine#3087 · 1 commento · Aperta il 5/6/2026
Fused attention should distinguish bias input from dBias request Aperta

attention

NVIDIA/TransformerEngine#3082 · 1 assegnatario · Aperta il 4/6/2026
NVFP4 default recipe (RHT + stochastic rounding) crashes on sm_120: fused kernel exceeds 101376-byte shared-memory opt-in cap Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100

NVIDIA/TransformerEngine#3062 · 1 reazione · Aperta il 29/5/2026
[Common] Move heavy kernel compilation to NVRTC Aperta

installation

Difficoltà 5/5 Più di una settimana Idoneità per principianti 45/100

NVIDIA/TransformerEngine#3054 · 1 commento · Aperta il 28/5/2026
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization Aperta

attention jax

NVIDIA/TransformerEngine#3046 · 1 assegnatario · Aperta il 26/5/2026
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention Aperta

attention

NVIDIA/TransformerEngine#3028 · 1 reazione · 1 assegnatario · Aperta il 21/5/2026
[Common + PyTorch] Support Dispatch FP8 Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

NVIDIA/TransformerEngine#3026 · Aperta il 21/5/2026
[JAX] Dispatch/Combine for BF16 Tensor Aperta

NVIDIA/TransformerEngine#3025 · 1 commento · 1 assegnatario · Aperta il 21/5/2026
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy Aperta

NVIDIA/TransformerEngine#3024 · 1 commento · 1 assegnatario · Aperta il 21/5/2026
[Common] Initial NCCL EP integration + Distributed CPP unit tests Aperta

NVIDIA/TransformerEngine#3023 · 1 commento · 1 assegnatario · Aperta il 21/5/2026
[Common] Infrastructure for symmetric window Aperta

NVIDIA/TransformerEngine#3022 · 1 assegnatario · Aperta il 21/5/2026
TE EP comm backend with NCCL EP Aperta

NVIDIA/TransformerEngine#3021 · 1 assegnatario · Aperta il 21/5/2026
No flash and fused attention for Gemma4 26B-A4B Aperta

bug megatron

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

NVIDIA/TransformerEngine#3006 · 1 commento · Aperta il 18/5/2026
[JAX] Move quantization to before AG in MoEBlock Aperta

NVIDIA/TransformerEngine#2998 · 1 assegnatario · Aperta il 15/5/2026
Reduce CPU overheads in te Sequential GroupedLinear Op Aperta

Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

NVIDIA/TransformerEngine#2995 · 2 commenti · Aperta il 14/5/2026
Activation + Group Quantize Fusion with te.Sequential Aperta

enhancement

NVIDIA/TransformerEngine#2988 · 2 commenti · 1 assegnatario · Aperta il 13/5/2026
Expose Batch Invariant Kernels Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

NVIDIA/TransformerEngine#2986 · 1 commento · Aperta il 13/5/2026
TransformerLayer implementation is overly complex and difficult to follow Aperta

question

Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

NVIDIA/TransformerEngine#2903 · Aperta il 20/4/2026
ub_overlap_ag_fprop disabled during activation recomputation due to is_grad_enabled check Aperta

bug

Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100

NVIDIA/TransformerEngine#2902 · 3 commenti · Aperta il 20/4/2026
[BUG] `CrossEntropyFunction.forward()` modifies input in-place without `ctx.mark_dirty()`, causing GPU memory leak Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100

NVIDIA/TransformerEngine#2899 · 2 commenti · Aperta il 17/4/2026

NVIDIA/TransformerEngine

Ricevi le nuove issue nella tua casella