abetlen / abetlen/llama-cpp-python

show how to run inference using minicpm v2.6

Đang mở
#1,731 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Merge trung bình
5 giờ 23 phút
Pull request đã merge (30 ngày)
5

Mô tả

**Is your feature request related to a problem? Please describe.**
A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

for example

what chat handler do I use?

**Describe the solution you'd like**
Clear demonstration of how to run inference with appropriate chat handler

**Describe alternatives you've considered**
A clear and concise description of any alternative solutions or features you've considered.

**Additional context**
Add any other context or screenshots about the feature request here.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Xem tài liệu hiện có và các ví dụ về cách chạy suy luận với những mô hình khác trong llama-cpp-python. Xác định chat handler phù hợp cho MiniCPM v2.6 bằng cách kiểm tra các thông số kỹ thuật của mô hình hoặc mã nguồn của thư viện. Tạo một script ví dụ rõ ràng minh họa việc tải mô hình và thực hiện suy luận, sau đó kiểm thử để đảm bảo script hoạt động.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
documentation
Loại issue
Tài liệu
Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.