abetlen / abetlen/llama-cpp-python

Multimodal Llama3 Support

オープン
#1,403 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
10.6k
フォーク
1.4k
PR マージ指標
PR 指標を取得中

説明

I came across a model on Huggingface that supports Llama3 multimodal [Bunny-Llama-3-8B-V: bunny-llama](https://huggingface.co/BAAI/Bunny-Llama-3-8B-V), and I'd like to be able to deploy it using llama-cpp-python!

But I found that the existing [chat_format:llama-3](https://github.com/abetlen/llama-cpp-python/blob/main/llama_cpp/llama_chat_format.py#L931) doesn't seem to support running it.

I converted it to gguf format via llama.cpp and ran it with the following configuration

```shell
python llama.cpp/convert.py \
Bunny-Llama-3-8B-V --outtype f16 \
--outfile converted.bin \
--vocab-type bpe
```

```json
{
"host": "0.0.0.0",
"port": 8080,
"api_key":"xx",
"models": [
{
"model": "bunny-llama.gguf",
"model_alias": "bunny-llama",
"chat_format": "llama-3",
"n_gpu_layers": -1,
"offload_kqv": true,
"n_threads": 12,
"n_batch": 512,
"n_ctx": 2048
}
]
}
```
```shell
python3 -m llama_cpp.server \
--config_file bunny-llama.json
```

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。