MegEngine/InferLLM
Vedi su GitHuba lightweight LLM model inference framework
- Stelle
- 752
- Fork
- 94
- Issue aperte per principianti
- 0
- Issue indicizzate
- 40
- Lingua principale
- C++
- Licenza
- Apache-2.0
- Ultimo push su GitHub
- 7/4/2024
- Ultima indicizzazione
- 19/9/2026
- Guida per i contributori
- Nessuna guida per i contributori
- Codice di condotta
- Nessun codice di condotta
- Label per principianti
- Nessuna label per principianti indicizzata
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
-
SG2042 服务器 make 出错 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
-
无法加载模型bin或者guff模型 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
有打算支持qwen吗 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
在树莓派3b+上部署，出现无法打开模型的问题 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
-
这个有windows的部署教程吗 Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
-
在运行llama2-13b的时候出现以下问题 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
-
移植问题 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
请问可以在不支持V扩展的RISC-V CPU上运行吗 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
-
chatglm3有计划支持吗？ Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
arm 平台输出乱码 Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
-
能否改为GPU辅助计算 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
【new feature】通义千问有没有计划支持 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
请问一下，这个是不是比python的性能更好？ Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
-
make error Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
-
目前不支持gpu跑吗？我看代码中有添加对gpu的支持啊 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
希望可以封装openai兼容API Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
ChatGLM 2已经出了，什么时候可以支持一下啊 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
没有支持最新的llama.cpp的格式吗 Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
在线程数>1时，会占满cpu核心 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
-
make报错 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
isnan报错 Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 50/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
有实现思维树方式么 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
-
更新的太慢了，求加速 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
-
windows下面编译失败 Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
是否有计划优化GPU上的推理加速 Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
超参的理解是否是正确的？ Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 20/100
-
python API support Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Optimize Arm Kernel Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Support more Model Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100