AI-Hypercomputer / AI-Hypercomputer/maxtext
bug: Numeric divergence between the mHC layer and its Pallas kernel
オープン
bug
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 607
- 平均マージ
- 2日 19時間
- マージ済み PR（30日）
- 158
説明
### Bug report
DeepSeek v4. The reference path had its own mapping helper that cast alpha_scale and
beta down to self.dtype before computing sigmoid(alpha_scale * h + beta),
while the Pallas path called common.compute_sigmoid_gate, which keeps the
scale and bias in float32. With dtype: bfloat16 the two branches therefore
gated on different numbers, so toggling use_mhc_pallas_kernel changed the
layer's output beyond accumulation noise.
Fixed in PR:
https://github.com/AI-Hypercomputer/maxtext/pull/5179
### Logs/Output
_No response_
### Environment Information
_No response_
### Additional Context
_No response_
コントリビューションガイド
評価
この issue はまだ評価されていません。