NVIDIA/TransformerEngine

在 GitHub 查看

A library for accelerating Transformer models on NVIDIA GPUs, including using 8-bit and 4-bit floating point (FP8 and FP4) precision on Hopper, Ada and Blackwell GPUs, to provide better performance with lower memory utilization in both training and inference.

星标: 3.5k
派生: 831
开放的新手 issue: 2
已索引 issue: 163
平均合并: 3 天 11 小时
30 天内合并 PR: 65

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年9月19日
最近索引: 2026年9月19日
贡献指南: 贡献指南
行为准则: 没有行为准则
新手标签: 没有已索引的新手标签

适合新手全部

未关闭全部

目前已索引 163 个未关闭的 Issue

Preserve NaN through half-precision MXFP8 amax reductions 未关闭

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3550 · 2026年9月19日创建
FA4 returns an all-zero output for causal attention on SM100 after flash-attention #2490 未关闭

难度 4/5 3-5 天新手友好度 20/100

NVIDIA/TransformerEngine#3528 · 3 条评论 · 2026年9月16日创建
Graph-Safe FP8 BlockScaling Support on Blackwell for GroupedLinear 未关闭

难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TransformerEngine#3520 · 2026年9月15日创建
MXFP8 GEMM rejects compact unswizzled scales that quantize_ accepts 未关闭

难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TransformerEngine#3518 · 2 条评论 · 2026年9月15日创建
[PyTorch][Attention] THD P2P context-parallel regression when padded cu_seqlens are value-equal but not object-identical 未关闭

attention

难度 4/5 3-5 天新手友好度 38/100

NVIDIA/TransformerEngine#3487 · 2026年9月5日创建
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run it 未关闭

attention

难度 2/5 1-3 小时新手友好度 85/100

NVIDIA/TransformerEngine#3481 · 4 条评论 · 2026年9月4日创建
[Bug] Illegal memory access in grouped MXFP8 quantize on GB200 (sm_100) introduced by #3337; TMA store completion handoff missing in group_quantize_mxfp8.cuh 未关闭

NVIDIA/TransformerEngine#3474 · 6 条评论 · 已指派 1 人 · 2026年9月3日创建
Tied weights do not accumulate with delayed wgrad 未关闭

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3437 · 3 条评论 · 2026年8月28日创建
NCCL EP hard link makes `import transformer_engine` require `libcuda.so.1` 未关闭

NVIDIA/TransformerEngine#3381 · 3 条评论 · 已指派 1 人 · 2026年8月13日创建
[Bug] Triton mask-map moe_permute ignores num_out_tokens 未关闭

难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TransformerEngine#3346 · 2 条评论 · 2026年8月11日创建
[Bug] Deferred init issue in `te.pytorch.ops` 未关闭

bug

NVIDIA/TransformerEngine#3322 · 1 条评论 · 已指派 1 人 · 2026年8月6日创建
[Bug] CUDA graph backward replay illegal memory access after validation with mixed NVFP4/MXFP8 Mamba 未关闭

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TransformerEngine#3316 · 2026年8月4日创建
thd + attention_dropout routes to the composite cuDNN SDPA engine and costs 5x on Blackwell 未关闭

attention

NVIDIA/TransformerEngine#3312 · 已指派 1 人 · 2026年8月4日创建
[Build] Publish PyTorch 2.11 CUDA 13 aarch64 wheels for GB200 未关闭

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3310 · 2026年8月4日创建
[Build] Restore CUDA 13 Linux aarch64 core wheels 未关闭

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3309 · 2026年8月4日创建
[Bug] Transformer Engine SM120 (Blackwell) Compatibility Issue 未关闭

bug

难度 4/5 3-5 天新手友好度 55/100

NVIDIA/TransformerEngine#3299 · 1 条评论 · 2026年8月3日创建
[Bug] Using `QuantizedTensor` on CPU causes a `RecursionError` 未关闭

bug

难度 3/5 1-2 天新手友好度 68/100

NVIDIA/TransformerEngine#3294 · 4 条评论 · 2026年7月30日创建
[Bug] FusedAttention THD + learnable softmax backward IMA (cuDNN err 700) on Hopper 未关闭

attention bug

NVIDIA/TransformerEngine#3249 · 6 条评论 · 已指派 1 人 · 2026年7月24日创建
FP8 DPA future token leakage 未关闭

attention bug

难度 5/5 一周以上新手友好度 38/100

NVIDIA/TransformerEngine#3248 · 1 条评论 · 2026年7月24日创建
cuDNN to accept actual seqlens in addition to cumulative seqlens 未关闭

attention

NVIDIA/TransformerEngine#3218 · 1 条评论 · 已指派 1 人 · 2026年7月16日创建
[BUG] NVFP4 fails on RTX 5070 Laptop (SM120): CUDA Error: no kernel image is available for execution on the device 未关闭

难度 4/5 3-5 天新手友好度 50/100

NVIDIA/TransformerEngine#3217 · 2 条评论 · 2026年7月16日创建
[PyTorch] FusedAdam/multi_tensor_apply: OOB metadata writes when a zero-numel tensor lands in the last TensorListMetadata slot (CUDA IMA / misaligned address; silent corruption below threshold) 未关闭

难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TransformerEngine#3202 · 2026年7月10日创建
[PyTorch] Request a migration path for downstream `_GroupedLinear` integrations after the 2.17 signature change 未关闭

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TransformerEngine#3191 · 2 条评论 · 2026年7月8日创建
Plumb dbias request in isolation into the common backend selector 未关闭

attention bug

难度 4/5 3-5 天新手友好度 35/100

NVIDIA/TransformerEngine#3188 · 2026年7月8日创建
Improve readability of dgrad_reduce_scatter_overlap variable name 未关闭

NVIDIA/TransformerEngine#3164 · 1 条评论 · 已指派 1 人 · 2026年7月2日创建
Hybrid quantization follow-ups 未关闭

bug

NVIDIA/TransformerEngine#3158 · 已指派 1 人 · 2026年6月30日创建
Track recipe config changes for quantizer rebuilds 未关闭

bug

NVIDIA/TransformerEngine#3157 · 已指派 1 人 · 2026年6月30日创建
Multi-GPU FP8 (accelerate.dispatch_model + DelayedScaling HYBRID) — illegal memory access on H200 sm_90 未关闭

难度 5/5 一周以上新手友好度 38/100

NVIDIA/TransformerEngine#3124 · 3 条评论 · 2026年6月12日创建
Vendor-neutral reference: NVFP4 vs OCP MXFP4 block-structure parameters (request for confirmation) 未关闭

question

难度 4/5 3-5 天新手友好度 25/100

NVIDIA/TransformerEngine#3105 · 2026年6月8日创建
`test_comm_gemm_overlap.py::test_multi_layer_with_overlap_bf16` fails on A100 未关闭

bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3097 · 2026年6月5日创建
Low-overhead stateless functional quantize/GEMM API (plain tensors in → out) 未关闭

enhancement

难度 5/5 一周以上新手友好度 32/100

NVIDIA/TransformerEngine#3087 · 1 条评论 · 2026年6月5日创建
Fused attention should distinguish bias input from dBias request 未关闭

attention

NVIDIA/TransformerEngine#3082 · 已指派 1 人 · 2026年6月4日创建
NVFP4 default recipe (RHT + stochastic rounding) crashes on sm_120: fused kernel exceeds 101376-byte shared-memory opt-in cap 未关闭

bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TransformerEngine#3062 · 1 个 reaction · 2026年5月29日创建
[Common] Move heavy kernel compilation to NVRTC 未关闭

installation

难度 5/5 一周以上新手友好度 45/100

NVIDIA/TransformerEngine#3054 · 1 条评论 · 2026年5月28日创建
[JAX] score_mod attention to support "enforce_precompiled" flag in cuDNN graph deserialization 未关闭

attention jax

NVIDIA/TransformerEngine#3046 · 已指派 1 人 · 2026年5月26日创建
[PyTorch] Integrate cuDNN GQA + DSA backend into DotProductAttention 未关闭

attention

NVIDIA/TransformerEngine#3028 · 1 个 reaction · 已指派 1 人 · 2026年5月21日创建
[Common + PyTorch] Support Dispatch FP8 未关闭

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TransformerEngine#3026 · 2026年5月21日创建
[JAX] Dispatch/Combine for BF16 Tensor 未关闭

NVIDIA/TransformerEngine#3025 · 1 条评论 · 已指派 1 人 · 2026年5月21日创建
[PyTorch] Dispatch/Combine for BF16 tensor + Zero-Copy 未关闭

NVIDIA/TransformerEngine#3024 · 1 条评论 · 已指派 1 人 · 2026年5月21日创建
[Common] Initial NCCL EP integration + Distributed CPP unit tests 未关闭

NVIDIA/TransformerEngine#3023 · 1 条评论 · 已指派 1 人 · 2026年5月21日创建
[Common] Infrastructure for symmetric window 未关闭

NVIDIA/TransformerEngine#3022 · 已指派 1 人 · 2026年5月21日创建
TE EP comm backend with NCCL EP 未关闭

NVIDIA/TransformerEngine#3021 · 已指派 1 人 · 2026年5月21日创建
No flash and fused attention for Gemma4 26B-A4B 未关闭

bug megatron

难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TransformerEngine#3006 · 1 条评论 · 2026年5月18日创建
[JAX] Move quantization to before AG in MoEBlock 未关闭

NVIDIA/TransformerEngine#2998 · 已指派 1 人 · 2026年5月15日创建
Reduce CPU overheads in te Sequential GroupedLinear Op 未关闭

难度 4/5 3-5 天新手友好度 38/100

NVIDIA/TransformerEngine#2995 · 2 条评论 · 2026年5月14日创建
Activation + Group Quantize Fusion with te.Sequential 未关闭

enhancement

NVIDIA/TransformerEngine#2988 · 2 条评论 · 已指派 1 人 · 2026年5月13日创建
Expose Batch Invariant Kernels 未关闭

enhancement

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TransformerEngine#2986 · 1 条评论 · 2026年5月13日创建
TransformerLayer implementation is overly complex and difficult to follow 未关闭

question

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TransformerEngine#2903 · 2026年4月20日创建
ub_overlap_ag_fprop disabled during activation recomputation due to is_grad_enabled check 未关闭

bug

难度 3/5 1-2 天新手友好度 55/100

NVIDIA/TransformerEngine#2902 · 3 条评论 · 2026年4月20日创建
[BUG] `CrossEntropyFunction.forward()` modifies input in-place without `ctx.mark_dirty()`, causing GPU memory leak 未关闭

bug

难度 4/5 3-5 天新手友好度 52/100

NVIDIA/TransformerEngine#2899 · 2 条评论 · 2026年4月17日创建

NVIDIA/TransformerEngine

把新 issue 发到你的邮箱