NVIDIA/TransformerEngine

Auf GitHub ansehen

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

Sterne: 3.5k
Forks: 831
Offene Anfänger-Issues: 2
Indexierte Issues: 163
Ø Merge: 3 T. 11 Std.
Gemergte PRs (30 T.): 65

Vorherrschende Sprache: Python
Lizenz: Apache-2.0
Letzter GitHub-Push: 19.9.2026
Zuletzt indexiert: 19.9.2026
Beitragsleitfaden: Beitragsleitfaden
Verhaltenskodex: Kein Verhaltenskodex
Anfänger-Labels: Keine Anfänger-Labels indexiert

Einsteigerfreundlich Alles

Offen Alle

Bisher 163 offene Issues indexiert

Preserve NaN through half-precision MXFP8 amax reductions Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

NVIDIA/TransformerEngine#3550 · Erstellt am 19.9.2026
FA4 returns an all-zero output for causal attention on SM100 after flash-attention #2490 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 20/100

NVIDIA/TransformerEngine#3528 · 3 Kommentare · Erstellt am 16.9.2026
Graph-Safe FP8 BlockScaling Support on Blackwell for GroupedLinear Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

NVIDIA/TransformerEngine#3520 · Erstellt am 15.9.2026
MXFP8 GEMM rejects compact unswizzled scales that quantize_ accepts Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 68/100

NVIDIA/TransformerEngine#3518 · 2 Kommentare · Erstellt am 15.9.2026
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical Offen

attention

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

NVIDIA/TransformerEngine#3487 · Erstellt am 05.9.2026
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run it Offen

attention

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

NVIDIA/TransformerEngine#3481 · 4 Kommentare · Erstellt am 04.9.2026
[Bug] Illegal memory access in grouped MXFP8 quantize on GB200 (sm_100) introduced by #3337; TMA store completion handoff missing in group_quantize_mxfp8.cuh Offen

NVIDIA/TransformerEngine#3474 · 6 Kommentare · 1 zugewiesene Person · Erstellt am 03.9.2026
Tied weights do not accumulate with delayed wgrad Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

NVIDIA/TransformerEngine#3437 · 3 Kommentare · Erstellt am 28.8.2026
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1` Offen

NVIDIA/TransformerEngine#3381 · 3 Kommentare · 1 zugewiesene Person · Erstellt am 13.8.2026
[Bug] Triton mask-map moe_permute ignores num_out_tokens Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 68/100

NVIDIA/TransformerEngine#3346 · 2 Kommentare · Erstellt am 11.8.2026
[Bug] Deferred init issue in `te.pytorch.ops` Offen

bug

NVIDIA/TransformerEngine#3322 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 06.8.2026
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mamba Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

NVIDIA/TransformerEngine#3316 · Erstellt am 04.8.2026
thd + attention_dropout routes to the composite cuDNN SDPA engine and costs 5x on Blackwell Offen

attention

NVIDIA/TransformerEngine#3312 · 1 zugewiesene Person · Erstellt am 04.8.2026
[Build] Publish PyTorch 2.11 CUDA 13 aarch64 wheels for GB200 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

NVIDIA/TransformerEngine#3310 · Erstellt am 04.8.2026
[Build] Restore CUDA 13 Linux aarch64 core wheels Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

NVIDIA/TransformerEngine#3309 · Erstellt am 04.8.2026
[Bug] Transformer Engine SM120 (Blackwell) Compatibility Issue Offen

bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 55/100

NVIDIA/TransformerEngine#3299 · 1 Kommentar · Erstellt am 03.8.2026
[Bug] Using `QuantizedTensor` on CPU causes a `RecursionError` Offen

bug

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100

NVIDIA/TransformerEngine#3294 · 4 Kommentare · Erstellt am 30.7.2026
[Bug] FusedAttention THD + learnable softmax backward IMA (cuDNN err 700) on Hopper Offen

attention bug

NVIDIA/TransformerEngine#3249 · 6 Kommentare · 1 zugewiesene Person · Erstellt am 24.7.2026
FP8 DPA future token leakage Offen

attention bug

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 38/100

NVIDIA/TransformerEngine#3248 · 1 Kommentar · Erstellt am 24.7.2026
cuDNN to accept actual seqlens in addition to cumulative seqlens Offen

attention

NVIDIA/TransformerEngine#3218 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 16.7.2026
[BUG] NVFP4 fails on RTX 5070 Laptop (SM120): CUDA Error: no kernel image is available for execution on the device Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 50/100

NVIDIA/TransformerEngine#3217 · 2 Kommentare · Erstellt am 16.7.2026
[PyTorch] FusedAdam/multi_tensor_apply: OOB metadata writes when a zero-numel tensor lands in the last TensorListMetadata slot (CUDA IMA / misaligned address; silent corruption below threshold) Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 68/100

NVIDIA/TransformerEngine#3202 · Erstellt am 10.7.2026
[PyTorch] Request a migration path for downstream `_GroupedLinear` integrations after the 2.17 signature change Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100

NVIDIA/TransformerEngine#3191 · 2 Kommentare · Erstellt am 08.7.2026
Plumb dbias request in isolation into the common backend selector Offen

attention bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100

NVIDIA/TransformerEngine#3188 · Erstellt am 08.7.2026
Improve readability of dgrad_reduce_scatter_overlap variable name Offen

NVIDIA/TransformerEngine#3164 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 02.7.2026
Hybrid quantization follow-ups Offen

bug

NVIDIA/TransformerEngine#3158 · 1 zugewiesene Person · Erstellt am 30.6.2026
Track recipe config changes for quantizer rebuilds Offen

bug

NVIDIA/TransformerEngine#3157 · 1 zugewiesene Person · Erstellt am 30.6.2026
Multi-GPU FP8 (accelerate.dispatch_model + DelayedScaling HYBRID) — illegal memory access on H200 sm_90 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 38/100

NVIDIA/TransformerEngine#3124 · 3 Kommentare · Erstellt am 12.6.2026
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation) Offen

question

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

NVIDIA/TransformerEngine#3105 · Erstellt am 08.6.2026
`test_comm_gemm_overlap.py::test_multi_layer_with_overlap_bf16` fails on A100 Offen

bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

NVIDIA/TransformerEngine#3097 · Erstellt am 05.6.2026
Low-overhead stateless functional quantize/GEMM API (plain tensors in → out) Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 32/100

NVIDIA/TransformerEngine#3087 · 1 Kommentar · Erstellt am 05.6.2026
Fused attention should distinguish bias input from dBias request Offen

attention

NVIDIA/TransformerEngine#3082 · 1 zugewiesene Person · Erstellt am 04.6.2026
NVFP4 default recipe (RHT + stochastic rounding) crashes on sm_120: fused kernel exceeds 101376-byte shared-memory opt-in cap Offen

bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

NVIDIA/TransformerEngine#3062 · 1 Reaktion · Erstellt am 29.5.2026
[Common] Move heavy kernel compilation to NVRTC Offen

installation

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 45/100

NVIDIA/TransformerEngine#3054 · 1 Kommentar · Erstellt am 28.5.2026
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization Offen

attention jax

NVIDIA/TransformerEngine#3046 · 1 zugewiesene Person · Erstellt am 26.5.2026
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention Offen

attention

NVIDIA/TransformerEngine#3028 · 1 Reaktion · 1 zugewiesene Person · Erstellt am 21.5.2026
[Common + PyTorch] Support Dispatch FP8 Offen

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100

NVIDIA/TransformerEngine#3026 · Erstellt am 21.5.2026
[JAX] Dispatch/Combine for BF16 Tensor Offen

NVIDIA/TransformerEngine#3025 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 21.5.2026
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy Offen

NVIDIA/TransformerEngine#3024 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 21.5.2026
[Common] Initial NCCL EP integration + Distributed CPP unit tests Offen

NVIDIA/TransformerEngine#3023 · 1 Kommentar · 1 zugewiesene Person · Erstellt am 21.5.2026
[Common] Infrastructure for symmetric window Offen

NVIDIA/TransformerEngine#3022 · 1 zugewiesene Person · Erstellt am 21.5.2026
TE EP comm backend with NCCL EP Offen

NVIDIA/TransformerEngine#3021 · 1 zugewiesene Person · Erstellt am 21.5.2026
No flash and fused attention for Gemma4 26B-A4B Offen

bug megatron

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100

NVIDIA/TransformerEngine#3006 · 1 Kommentar · Erstellt am 18.5.2026
[JAX] Move quantization to before AG in MoEBlock Offen

NVIDIA/TransformerEngine#2998 · 1 zugewiesene Person · Erstellt am 15.5.2026
Reduce CPU overheads in te Sequential GroupedLinear Op Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100

NVIDIA/TransformerEngine#2995 · 2 Kommentare · Erstellt am 14.5.2026
Activation + Group Quantize Fusion with te.Sequential Offen

enhancement

NVIDIA/TransformerEngine#2988 · 2 Kommentare · 1 zugewiesene Person · Erstellt am 13.5.2026
Expose Batch Invariant Kernels Offen

enhancement

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

NVIDIA/TransformerEngine#2986 · 1 Kommentar · Erstellt am 13.5.2026
TransformerLayer implementation is overly complex and difficult to follow Offen

question

Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100

NVIDIA/TransformerEngine#2903 · Erstellt am 20.4.2026
ub_overlap_ag_fprop disabled during activation recomputation due to is_grad_enabled check Offen

bug

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100

NVIDIA/TransformerEngine#2902 · 3 Kommentare · Erstellt am 20.4.2026
[BUG] `CrossEntropyFunction.forward()` modifies input in-place without `ctx.mark_dirty()`, causing GPU memory leak Offen

bug

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 52/100

NVIDIA/TransformerEngine#2899 · 2 Kommentare · Erstellt am 17.4.2026

NVIDIA/TransformerEngine

Neue Issues direkt in Ihr Postfach