InternLM / InternLM/InternLM-Math

Suggestion for Official Releases of LLMs: Include Quantized Versions

Abierto
#17 1 comentario 0 reacciones 0 asignados Ver en GitHub
wontfix
Lenguaje dominante
Python
Estrellas
550
Forks
39
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

对于官方发布的 LLMS 大模型,建议在未来可以附上 awq 和 gptq 的量化版本。这种做法几乎没有成本,但却能帮助许多缺乏 GPU 的潜在用户。这会让用户在使用模型时更加方便,因为大家普遍认为官方发布的量化版本更具权威性。
For officially released LLMs, it is suggested that awq and gptq quantized versions be included in the future. This practice incurs almost no cost but could benefit many potential users who lack GPUs. It would also be more convenient for users as official quantized versions are generally considered more authoritative.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.