InternLM / InternLM/InternLM-Math

Suggestion for Official Releases of LLMs: Include Quantized Versions

Ouverte
#17 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
wontfix
Langage dominant
Python
Étoiles
550
Forks
39
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

对于官方发布的 LLMS 大模型,建议在未来可以附上 awq 和 gptq 的量化版本。这种做法几乎没有成本,但却能帮助许多缺乏 GPU 的潜在用户。这会让用户在使用模型时更加方便,因为大家普遍认为官方发布的量化版本更具权威性。
For officially released LLMs, it is suggested that awq and gptq quantized versions be included in the future. This practice incurs almost no cost but could benefit many potential users who lack GPUs. It would also be more convenient for users as official quantized versions are generally considered more authoritative.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

The issue names no files, tests, or entry points. Start by identifying the model release process and clarifying the scope for official AWQ and GPTQ artifacts; done would require an agreed release plan and published quantized versions.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
ai, machine-learning
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.