abetlen / abetlen/llama-cpp-python

Add support T5 (encode-decoder) models at API level and server

Đang mở
#1,681 0 bình luận 9 reaction 0 người được giao Xem trên GitHub
enhancement
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

Ciao Andrei,
following the latest changes on llama.cpp repo
[https://github.com/ggerganov/llama.cpp/issues/5763](https://github.com/ggerganov/llama.cpp/issues/5763)

can you tell me if this is going to be art of your amazing repo?
In case it is not, can you provide some instructions to replicate at low Level API the same steps done by lama-cli?

we can start using amazing models like LaMini-Flan-T5-248M with llama-cpp-python.

thanks

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.