[Feature] 看起来lmdeploy好像天然支持替换矩阵乘法的计算。deepGEMM 刚刚发布了。怎么用
Open
- Dominant language
- Python
- Stars
- 8.1k
- Forks
- 748
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
Description
### Motivation
每次启动都能看到[WARNING] gemm_config.in is not found; using default GEMM algo
这里的GEMM 和deepseek的deepGEMM 都是矩阵乘法吧。
1.用上这里的[deepseek 的GEMM 是不是能加速?](https://github.com/deepseek-ai/DeepGEMM)
2.怎么用？
3.以及。deepGEMM 里提到支持float8 怎么用呢？
可以给一些示例吗？
@lvhan028
### Related resources
_No response_
### Additional context
_No response_
Contributor guide
Assessment
This issue has not been assessed yet.