abetlen / abetlen/llama-cpp-python
Using OpenBlas to accelerate has no effect？
未关闭
- 主要语言
- Python
- 星标
- 10.6k
- 派生
- 1.4k
- 平均合并
- 5 小时 23 分钟
- 30 天内合并 PR
- 5
描述
When installing llama-cpp-python, I set CMAKE-ARGS="- DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS" but I don't seem to see any acceleration effect. What's the reason for this?
贡献指南
调研方向
检查 CMake 构建日志，以验证是否检测到 OpenBLAS 以及是否正确链接。查看 llama.cpp GGML_BLAS 构建标志和 vendor 选择。使用基准测试脚本进行测试，比较启用和未启用 BLAS 时的性能。在仓库中查找有关 BLAS 加速的现有构建文档或 issue。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- c, cmake, python
- 领域
- build-system, performance
- Issue 类型
- 缺陷
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 30/100