abetlen / abetlen/llama-cpp-python
show how to run inference using minicpm v2.6
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Merge trung bình
- 5 giờ 23 phút
- Pull request đã merge (30 ngày)
- 5
Mô tả
**Is your feature request related to a problem? Please describe.**
A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]
for example
what chat handler do I use?
**Describe the solution you'd like**
Clear demonstration of how to run inference with appropriate chat handler
**Describe alternatives you've considered**
A clear and concise description of any alternative solutions or features you've considered.
**Additional context**
Add any other context or screenshots about the feature request here.
Hướng dẫn đóng góp
Hướng nghiên cứu
Xem tài liệu hiện có và các ví dụ về cách chạy suy luận với những mô hình khác trong llama-cpp-python. Xác định chat handler phù hợp cho MiniCPM v2.6 bằng cách kiểm tra các thông số kỹ thuật của mô hình hoặc mã nguồn của thư viện. Tạo một script ví dụ rõ ràng minh họa việc tải mô hình và thực hiện suy luận, sau đó kiểm thử để đảm bảo script hoạt động.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- documentation
- Loại issue
- Tài liệu
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 45/100