[Docs] AWQ / GPTQ 部分
Open
- Dominant language
- Python
- Stars
- 8.1k
- Forks
- 748
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
Description
### 📚 The doc issue
文档里面提到打开 search-scale 和 batch-size 可以提高精度，想问一下打开和默认关闭 search-scale 是有什么区别呢，我看了一下代码，我的理解是 search-scale 使用了 grid-search 类似论文中的 AWQ，而默认关闭是走的是 SmoothQuant 么，还是减去了网格搜索的过程，默认 scale = 0.5，因为打开 search-scale 后精度有一些下降，因此想问一下，谢谢解答
### Suggest a potential alternative/fix
_No response_
Contributor guide
Assessment
This issue has not been assessed yet.