你好，量化后推理模型出现nan的问题

我看了存在issue里也有量化后模型出现nan的问题，但是都是没有解决方案。
请问这个咋么解决啊？

我这边修改了llama.py部分代码适配我这边的一个传统模型，得到后的模型推理会出现nan的情况。
环境：
Cuda/NVCC： 12.2
python： 3.10
cmake： 3.22.1
gpu Driver: 535.161.08
torch：2.1.0

Start by reviewing the reported changes in llama.py and reproduce the post-quantization inference failure in the listed Python, PyTorch, and CUDA environment. Examine the existing issue discussion and establish a minimal reproduction; the work is done when the NaN cause is identified and inference completes without NaN values.

Written by the indexing model from the issue text.