Q on W 😏
未关闭
- 主要语言
- Jupyter Notebook
- 星标
- 0
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
描述
Quantize on Windows.
- Optimum-cli quantization of Llama runs out of memory on WSL.
- [x] Windows now supports python3.11 from W-store.
- [ ] Install cuda 12.1 and compile torch with cuda.
贡献指南
这个仓库没有索引到贡献指南
调研方向
该 issue 提到在 Windows 上对 Llama 模型进行量化，具体是使用 optimum-cli 并使用 CUDA 12.1 编译 torch。先检查仓库中是否已存在量化脚本或文档。查看 Windows Python 3.11 设置和 CUDA 安装步骤。验证 WSL 中的内存问题，并探索 Windows 原生替代方案。成功意味着在 Windows 上拥有一个可工作的量化流水线。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python
- 领域
- ai-infra-agents, machine-learning
- Issue 类型
- 功能
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 35/100