abetlen / abetlen/llama-cpp-python

Add support T5 (encode-decoder) models at API level and server

未關閉
#1,681 0 則留言 9 個 reaction 已指派 0 人 在 GitHub 檢視
enhancement
主要語言
Python
星號
10.6k
分支
1.4k
PR 合併指標
PR 指標待擷取

描述

Ciao Andrei,
following the latest changes on llama.cpp repo
[https://github.com/ggerganov/llama.cpp/issues/5763](https://github.com/ggerganov/llama.cpp/issues/5763)

can you tell me if this is going to be art of your amazing repo?
In case it is not, can you provide some instructions to replicate at low Level API the same steps done by lama-cli?

we can start using amazing models like LaMini-Flan-T5-248M with llama-cpp-python.

thanks

貢獻指南

開啟貢獻指南

評估

這個 Issue 還沒有評估資料。

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。