MegEngine/InferLLM
Xem trên GitHuba lightweight LLM model inference framework
- Star
- 752
- Fork
- 94
- Issue cho người mới đang mở
- 0
- Issue đã lập chỉ mục
- 40
- Ngôn ngữ chính
- C++
- Giấy phép
- Apache-2.0
- Lần push lên GitHub gần nhất
- 7/4/2024
- Lập chỉ mục gần nhất
- 19/9/2026
- Hướng dẫn đóng góp
- Không có hướng dẫn đóng góp
- Quy tắc ứng xử
- Không có quy tắc ứng xử
- Label cho người mới
- Chưa lập chỉ mục label nào cho người mới
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
-
SG2042 服务器 make 出错 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
-
无法加载模型bin或者guff模型 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
-
有打算支持qwen吗 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
在树莓派3b+上部署，出现无法打开模型的问题 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
-
这个有windows的部署教程吗 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
-
在运行llama2-13b的时候出现以下问题 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100
-
移植问题 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
请问可以在不支持V扩展的RISC-V CPU上运行吗 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
-
chatglm3有计划支持吗？ Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
arm 平台输出乱码 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
-
能否改为GPU辅助计算 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
-
【new feature】通义千问有没有计划支持 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
请问一下，这个是不是比python的性能更好？ Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
-
make error Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 28/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100
-
目前不支持gpu跑吗？我看代码中有添加对gpu的支持啊 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
希望可以封装openai兼容API Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
ChatGLM 2已经出了，什么时候可以支持一下啊 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
没有支持最新的llama.cpp的格式吗 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
-
在线程数>1时，会占满cpu核心 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
-
make报错 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
-
decode & decode_iter 多线程会不会有问题 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
-
向量计算中使用CPU AVX指令，能否支持不使用AVX指令的版本 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
isnan报错 Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 50/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
有实现思维树方式么 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
更新的太慢了，求加速 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
-
windows下面编译失败 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
是否有计划优化GPU上的推理加速 Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
超参的理解是否是正确的？ Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
-
python API support Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
Arm support Compute with fp16 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
Optimize Arm Kernel Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
Support more Model Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100