abetlen / abetlen/llama-cpp-python

Wrong `chat_format` documented for Moondream 2

Đang mở
#1,996 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

Hi! 👋

I was testing the Server API with Moondream 2 as the model, and the [documented `chat_format`](https://github.com/abetlen/llama-cpp-python/blob/37eb5f0a4c2a8706b89ead1406b1577c4602cdec/README.md#L504), `moondream2`, threw an error:

```plain
Error code: 500 - {'error': {'message': "Invalid chat handler: moondream2 (valid formats: ['llama-2', 'llama-3', 'alpaca', 'qwen', 'vicuna', 'oasst_llama', 'baichuan-2', 'baichuan', 'openbuddy', 'redpajama-incite', 'snoozy', 'phind', 'intel', 'open-orca', 'mistrallite', 'zephyr', 'pygmalion', 'chatml', 'mistral-instruct', 'chatglm3', 'openchat', 'saiga', 'gemma', 'functionary', 'functionary-v2', 'functionary-v1', 'chatml-function-calling'])", 'type': 'internal_server_error', 'param': None, 'code': None}}
```

[Looking at the code](https://github.com/abetlen/llama-cpp-python/blob/37eb5f0a4c2a8706b89ead1406b1577c4602cdec/llama_cpp/server/model.py#L118), it appears that the correct `chat_format` is `moondream` and not `moondream2` (`moondream` worked as expected).

What do you think?

Let me know if I can open a PR to fix the documented `chat_format`, please.

Thank you for this project! 😄

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.