MegEngine/InferLLM
Voir sur GitHuba lightweight LLM model inference framework
- Étoiles
- 752
- Forks
- 94
- Issues débutants ouvertes
- 0
- Issues indexées
- 40
- Langage dominant
- C++
- Licence
- Apache-2.0
- Dernier push GitHub
- 7/4/2024
- Dernière indexation
- 19/9/2026
- Guide de contribution
- Aucun guide de contribution
- Code de conduite
- Aucun code de conduite
- Labels débutants
- Aucun label débutant indexé
- Métriques de merge des PR
- Aucune PR mergée en 30 j
-
SG2042 服务器 make 出错 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
-
无法加载模型bin或者guff模型 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
-
有打算支持qwen吗 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
在树莓派3b+上部署，出现无法打开模型的问题 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 20/100
-
这个有windows的部署教程吗 Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 35/100
-
在运行llama2-13b的时候出现以下问题 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 28/100
-
移植问题 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
-
请问可以在不支持V扩展的RISC-V CPU上运行吗 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
-
chatglm3有计划支持吗？ Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
-
arm 平台输出乱码 Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 25/100
-
能否改为GPU辅助计算 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
-
【new feature】通义千问有没有计划支持 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
请问一下，这个是不是比python的性能更好？ Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 10/100
-
make error Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 28/100
-
Difficulté 3/5 1-2 jours Accessibilité débutants 25/100
-
目前不支持gpu跑吗？我看代码中有添加对gpu的支持啊 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
希望可以封装openai兼容API Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
ChatGLM 2已经出了，什么时候可以支持一下啊 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
没有支持最新的llama.cpp的格式吗 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
-
在线程数>1时，会占满cpu核心 Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 35/100
-
make报错 Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 45/100
-
decode & decode_iter 多线程会不会有问题 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 20/100
-
向量计算中使用CPU AVX指令，能否支持不使用AVX指令的版本 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
isnan报错 Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 50/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
有实现思维树方式么 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
-
更新的太慢了，求加速 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 10/100
-
windows下面编译失败 Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
-
是否有计划优化GPU上的推理加速 Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
-
超参的理解是否是正确的？ Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 20/100
-
python API support Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 15/100
-
Arm support Compute with fp16 Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
-
Optimize Arm Kernel Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
-
Support more Model Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100