InternLM / InternLM/InternLM-Math
Suggestion for Official Releases of LLMs: Include Quantized Versions
未关闭
wontfix
- 主要语言
- Python
- 星标
- 550
- 派生
- 39
- PR 合并指标
- 30 天内没有已合并 PR
描述
对于官方发布的 LLMS 大模型,建议在未来可以附上 awq 和 gptq 的量化版本。这种做法几乎没有成本,但却能帮助许多缺乏 GPU 的潜在用户。这会让用户在使用模型时更加方便,因为大家普遍认为官方发布的量化版本更具权威性。
For officially released LLMs, it is suggested that awq and gptq quantized versions be included in the future. This practice incurs almost no cost but could benefit many potential users who lack GPUs. It would also be more convenient for users as official quantized versions are generally considered more authoritative.
贡献指南
这个仓库没有索引到贡献指南
评估
这个 Issue 还没有评估数据。