NVIDIA/TransformerEngine

Xem trên GitHub

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

Star: 3.5k
Fork: 831
Issue cho người mới đang mở: 2
Issue đã lập chỉ mục: 163
Merge trung bình: 3 ngày 11 giờ
Pull request đã merge (30 ngày): 65

Ngôn ngữ chính: Python
Giấy phép: Apache-2.0
Lần push lên GitHub gần nhất: 19/9/2026
Lập chỉ mục gần nhất: 19/9/2026
Hướng dẫn đóng góp: Hướng dẫn đóng góp
Quy tắc ứng xử: Không có quy tắc ứng xử
Label cho người mới: Chưa lập chỉ mục label nào cho người mới

Phù hợp cho người mới Tất cả

Đang mở Tất cả

Đã lập chỉ mục 163 issue đang mở

Preserve NaN through half-precision MXFP8 amax reductions Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

NVIDIA/TransformerEngine#3550 · Mở ngày 19/9/2026
FA4 returns an all-zero output for causal attention on SM100 after flash-attention #2490 Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100

NVIDIA/TransformerEngine#3528 · 3 bình luận · Mở ngày 16/9/2026
Graph-Safe FP8 BlockScaling Support on Blackwell for GroupedLinear Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

NVIDIA/TransformerEngine#3520 · Mở ngày 15/9/2026
MXFP8 GEMM rejects compact unswizzled scales that quantize_ accepts Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100

NVIDIA/TransformerEngine#3518 · 2 bình luận · Mở ngày 15/9/2026
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical Đang mở

attention

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

NVIDIA/TransformerEngine#3487 · Mở ngày 5/9/2026
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run it Đang mở

attention

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100

NVIDIA/TransformerEngine#3481 · 4 bình luận · Mở ngày 4/9/2026
[Bug] Illegal memory access in grouped MXFP8 quantize on GB200 (sm_100) introduced by #3337; TMA store completion handoff missing in group_quantize_mxfp8.cuh Đang mở

NVIDIA/TransformerEngine#3474 · 6 bình luận · 1 người được giao · Mở ngày 3/9/2026
Tied weights do not accumulate with delayed wgrad Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

NVIDIA/TransformerEngine#3437 · 3 bình luận · Mở ngày 28/8/2026
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1` Đang mở

NVIDIA/TransformerEngine#3381 · 3 bình luận · 1 người được giao · Mở ngày 13/8/2026
[Bug] Triton mask-map moe_permute ignores num_out_tokens Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100

NVIDIA/TransformerEngine#3346 · 2 bình luận · Mở ngày 11/8/2026
[Bug] Deferred init issue in `te.pytorch.ops` Đang mở

bug

NVIDIA/TransformerEngine#3322 · 1 bình luận · 1 người được giao · Mở ngày 6/8/2026
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mamba Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

NVIDIA/TransformerEngine#3316 · Mở ngày 4/8/2026
thd + attention_dropout routes to the composite cuDNN SDPA engine and costs 5x on Blackwell Đang mở

attention

NVIDIA/TransformerEngine#3312 · 1 người được giao · Mở ngày 4/8/2026
[Build] Publish PyTorch 2.11 CUDA 13 aarch64 wheels for GB200 Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

NVIDIA/TransformerEngine#3310 · Mở ngày 4/8/2026
[Build] Restore CUDA 13 Linux aarch64 core wheels Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

NVIDIA/TransformerEngine#3309 · Mở ngày 4/8/2026
[Bug] Transformer Engine SM120 (Blackwell) Compatibility Issue Đang mở

bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100

NVIDIA/TransformerEngine#3299 · 1 bình luận · Mở ngày 3/8/2026
[Bug] Using `QuantizedTensor` on CPU causes a `RecursionError` Đang mở

bug

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

NVIDIA/TransformerEngine#3294 · 4 bình luận · Mở ngày 30/7/2026
[Bug] FusedAttention THD + learnable softmax backward IMA (cuDNN err 700) on Hopper Đang mở

attention bug

NVIDIA/TransformerEngine#3249 · 6 bình luận · 1 người được giao · Mở ngày 24/7/2026
FP8 DPA future token leakage Đang mở

attention bug

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 38/100

NVIDIA/TransformerEngine#3248 · 1 bình luận · Mở ngày 24/7/2026
cuDNN to accept actual seqlens in addition to cumulative seqlens Đang mở

attention

NVIDIA/TransformerEngine#3218 · 1 bình luận · 1 người được giao · Mở ngày 16/7/2026
[BUG] NVFP4 fails on RTX 5070 Laptop (SM120): CUDA Error: no kernel image is available for execution on the device Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 50/100

NVIDIA/TransformerEngine#3217 · 2 bình luận · Mở ngày 16/7/2026
[PyTorch] FusedAdam/multi_tensor_apply: OOB metadata writes when a zero-numel tensor lands in the last TensorListMetadata slot (CUDA IMA / misaligned address; silent corruption below threshold) Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100

NVIDIA/TransformerEngine#3202 · Mở ngày 10/7/2026
[PyTorch] Request a migration path for downstream `_GroupedLinear` integrations after the 2.17 signature change Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100

NVIDIA/TransformerEngine#3191 · 2 bình luận · Mở ngày 8/7/2026
Plumb dbias request in isolation into the common backend selector Đang mở

attention bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

NVIDIA/TransformerEngine#3188 · Mở ngày 8/7/2026
Improve readability of dgrad_reduce_scatter_overlap variable name Đang mở

NVIDIA/TransformerEngine#3164 · 1 bình luận · 1 người được giao · Mở ngày 2/7/2026
Hybrid quantization follow-ups Đang mở

bug

NVIDIA/TransformerEngine#3158 · 1 người được giao · Mở ngày 30/6/2026
Track recipe config changes for quantizer rebuilds Đang mở

bug

NVIDIA/TransformerEngine#3157 · 1 người được giao · Mở ngày 30/6/2026
Multi-GPU FP8 (accelerate.dispatch_model + DelayedScaling HYBRID) — illegal memory access on H200 sm_90 Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 38/100

NVIDIA/TransformerEngine#3124 · 3 bình luận · Mở ngày 12/6/2026
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation) Đang mở

question

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

NVIDIA/TransformerEngine#3105 · Mở ngày 8/6/2026
`test_comm_gemm_overlap.py::test_multi_layer_with_overlap_bf16` fails on A100 Đang mở

bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

NVIDIA/TransformerEngine#3097 · Mở ngày 5/6/2026
Low-overhead stateless functional quantize/GEMM API (plain tensors in → out) Đang mở

enhancement

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 32/100

NVIDIA/TransformerEngine#3087 · 1 bình luận · Mở ngày 5/6/2026
Fused attention should distinguish bias input from dBias request Đang mở

attention

NVIDIA/TransformerEngine#3082 · 1 người được giao · Mở ngày 4/6/2026
NVFP4 default recipe (RHT + stochastic rounding) crashes on sm_120: fused kernel exceeds 101376-byte shared-memory opt-in cap Đang mở

bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

NVIDIA/TransformerEngine#3062 · 1 reaction · Mở ngày 29/5/2026
[Common] Move heavy kernel compilation to NVRTC Đang mở

installation

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 45/100

NVIDIA/TransformerEngine#3054 · 1 bình luận · Mở ngày 28/5/2026
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization Đang mở

attention jax

NVIDIA/TransformerEngine#3046 · 1 người được giao · Mở ngày 26/5/2026
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention Đang mở

attention

NVIDIA/TransformerEngine#3028 · 1 reaction · 1 người được giao · Mở ngày 21/5/2026
[Common + PyTorch] Support Dispatch FP8 Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

NVIDIA/TransformerEngine#3026 · Mở ngày 21/5/2026
[JAX] Dispatch/Combine for BF16 Tensor Đang mở

NVIDIA/TransformerEngine#3025 · 1 bình luận · 1 người được giao · Mở ngày 21/5/2026
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy Đang mở

NVIDIA/TransformerEngine#3024 · 1 bình luận · 1 người được giao · Mở ngày 21/5/2026
[Common] Initial NCCL EP integration + Distributed CPP unit tests Đang mở

NVIDIA/TransformerEngine#3023 · 1 bình luận · 1 người được giao · Mở ngày 21/5/2026
[Common] Infrastructure for symmetric window Đang mở

NVIDIA/TransformerEngine#3022 · 1 người được giao · Mở ngày 21/5/2026
TE EP comm backend with NCCL EP Đang mở

NVIDIA/TransformerEngine#3021 · 1 người được giao · Mở ngày 21/5/2026
No flash and fused attention for Gemma4 26B-A4B Đang mở

bug megatron

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

NVIDIA/TransformerEngine#3006 · 1 bình luận · Mở ngày 18/5/2026
[JAX] Move quantization to before AG in MoEBlock Đang mở

NVIDIA/TransformerEngine#2998 · 1 người được giao · Mở ngày 15/5/2026
Reduce CPU overheads in te Sequential GroupedLinear Op Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100

NVIDIA/TransformerEngine#2995 · 2 bình luận · Mở ngày 14/5/2026
Activation + Group Quantize Fusion with te.Sequential Đang mở

enhancement

NVIDIA/TransformerEngine#2988 · 2 bình luận · 1 người được giao · Mở ngày 13/5/2026
Expose Batch Invariant Kernels Đang mở

enhancement

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

NVIDIA/TransformerEngine#2986 · 1 bình luận · Mở ngày 13/5/2026
TransformerLayer implementation is overly complex and difficult to follow Đang mở

question

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100

NVIDIA/TransformerEngine#2903 · Mở ngày 20/4/2026
ub_overlap_ag_fprop disabled during activation recomputation due to is_grad_enabled check Đang mở

bug

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

NVIDIA/TransformerEngine#2902 · 3 bình luận · Mở ngày 20/4/2026
[BUG] `CrossEntropyFunction.forward()` modifies input in-place without `ctx.mark_dirty()`, causing GPU memory leak Đang mở

bug

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100

NVIDIA/TransformerEngine#2899 · 2 bình luận · Mở ngày 17/4/2026

NVIDIA/TransformerEngine

Nhận issue mới trong hộp thư của bạn