推荐使用 AutoGPTQ 或 AutoGPTQ-triton 进行模型量化和推理
Nobody has claimed this yet.
- Dominant language
- Python
- Stars
- 12.3k
- Forks
- 1.1k
- PR merge metrics
- No merged PRs in 30d
Description
我在 issues 中看到很多同学在使用量化版本的模型推理时遇到问题，在这里想自吹自擂地推荐一下自己的新项目，希望能够对大家有所帮助。
AutoGPTQ 是一个简单易用的模型量化和推理工具包，提供类 Hugging Face transformers 风格的函数接口并与其 TextGenerationPipeline 完全兼容。目前支持四大主流开源 GPT 模型家族的量化和推理，并能够通过少数几行代码的编写，快速拓展到其他 GPT 模型的量化及推理应用。此外，项目中还提供了多个预定义的任务类型，能够方便使用者快速评估模型在下游具体任务上的表现。
AutoGPTQ-triton 是 GPTQ-for-LLaMa 项目所有者在 AutoGPTQ 的基础上拓展的 triton 推理版本。
对于拥有能够使用 triton 的操作系统的同学，推荐使用 AutoGPTQ-triton 以获得更快的推理体验，而如果无法使用 triton 的话，AutoGPTQ 也能够让你快速上手完成模型的量化和推理应用。
Contributor guide
No contributing guide indexed for this repository
First steps
- Read the whole issue, then the project's contributing guide.
- Comment on the issue to say you are picking it up — it saves two people doing the same work.
- Fork the repository and make your change on a branch.
- Open a pull request that references the issue number.
Research direction
No repository file, test, or entry point is named. Start by checking whether maintainers want this recommendation incorporated into project documentation; otherwise the issue has no defined change or completion criterion.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- python
- Domain
- machine-learning
- Issue type
- Documentation
- Difficulty
- 5/5
- Estimated time
- Over a week
- Activity status
- Stale
- Clarity
- Needs clarification
- Newbie friendliness
- 15/100