MegEngine/InferLLM
Ver en GitHuba lightweight LLM model inference framework
- Estrellas
- 752
- Forks
- 94
- Issues abiertos para principiantes
- 0
- Issues indexados
- 40
- Lenguaje dominante
- C++
- Licencia
- Apache-2.0
- Último push a GitHub
- 7/4/2024
- Última indexación
- 19/9/2026
- Guía de contribución
- Sin guía de contribución
- Código de conducta
- Sin código de conducta
- Etiquetas para principiantes
- Sin etiquetas para principiantes indexadas
- Métricas de merge de PR
- Sin PR fusionados en 30 d
-
SG2042 服务器 make 出错 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
无法加载模型bin或者guff模型 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
有打算支持qwen吗 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
在树莓派3b+上部署，出现无法打开模型的问题 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
这个有windows的部署教程吗 Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
-
在运行llama2-13b的时候出现以下问题 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 28/100
-
移植问题 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
请问可以在不支持V扩展的RISC-V CPU上运行吗 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
-
chatglm3有计划支持吗？ Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
arm 平台输出乱码 Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
-
能否改为GPU辅助计算 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
【new feature】通义千问有没有计划支持 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
请问一下，这个是不是比python的性能更好？ Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
-
make error Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 28/100
-
Dificultad 3/5 1-2 días Aptitud para principiantes 25/100
-
目前不支持gpu跑吗？我看代码中有添加对gpu的支持啊 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
希望可以封装openai兼容API Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
ChatGLM 2已经出了，什么时候可以支持一下啊 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
没有支持最新的llama.cpp的格式吗 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
在线程数>1时，会占满cpu核心 Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
-
make报错 Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
-
decode & decode_iter 多线程会不会有问题 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
向量计算中使用CPU AVX指令，能否支持不使用AVX指令的版本 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
isnan报错 Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 50/100
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
有实现思维树方式么 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
-
更新的太慢了，求加速 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
-
windows下面编译失败 Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
是否有计划优化GPU上的推理加速 Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
超参的理解是否是正确的？ Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
python API support Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
-
Arm support Compute with fp16 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Optimize Arm Kernel Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Support more Model Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100