abetlen / abetlen/llama-cpp-python

Switch to disable adding BOS token

Đang mở
#1,561 1 bình luận 2 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

**Is your feature request related to a problem? Please describe.**
I am building the prompt myself and calling
```
llm.create_completion(prompt, max_tokens=max_tokens,
temperature=temperature, repeat_penalty=repeat_penalty,
stop=stops)
```
llama.cpp is telling me it is adding yet another in the beginning which could affect the performance:

```
RuntimeWarning: Detected duplicate leading "" in prompt, this will likely reduce response quality, consider removing it
```

**Describe the solution you'd like**
Either llama.cpp should not add a token in the beginning or there should be a switch.

**Additional context**

This is a prompt with gemma2 template that I give to the create_completion function:

```
user
You are a helpful chat bot, answering questions.
model
OKuser
What kind of questions can I ask you?model

```

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.