InternLM / InternLM/InternLM-Math

Suggestion for Official Releases of LLMs: Include Quantized Versions

オープン
#17 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
wontfix
主要言語
Python
スター
550
フォーク
39
PR マージ指標
30日以内にマージされた PR はありません

説明

对于官方发布的 LLMS 大模型,建议在未来可以附上 awq 和 gptq 的量化版本。这种做法几乎没有成本,但却能帮助许多缺乏 GPU 的潜在用户。这会让用户在使用模型时更加方便,因为大家普遍认为官方发布的量化版本更具权威性。
For officially released LLMs, it is suggested that awq and gptq quantized versions be included in the future. This practice incurs almost no cost but could benefit many potential users who lack GPUs. It would also be more convenient for users as official quantized versions are generally considered more authoritative.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。