abetlen / abetlen/llama-cpp-python

How get output from fine tuned llama3 model(trained with alpaca format dataset) in a json format ?

Đang mở
#1,744 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

**Is your feature request related to a problem? Please describe.**
I have my own gguf file.
I was loading it like this :
```

from llama_cpp import Llama
llm = Llama(model_path=model_pth,
n_ctx=CONTEXT_SIZE,
chat_format="alpaca")
model_output = model(user_prompt,max_tokens=max_tokens,temperature=temperature,
top_p=top_p,echo=False,stop=stop)
print(model_ouput)
```

but the "model_ouput" is of string type, and its format is not consistant. Thus I cant extract desired output from this string using a common function.

**Describe the solution you'd like**
I want to know a way, where I can get output in a consistant structured format.

**Describe alternatives you've considered**
I've tried this, but it doesnt work

```
llm = Llama(model_path=model_pth,
n_ctx=CONTEXT_SIZE,
chat_format="alpaca")
llm.create_chat_completion(
messages=[
{
"role": "system",
"content": "You are a helpful assistant that outputs in JSON.",
},
{"role": "user", "content": "Who won the world series in 2020"},
],
response_format={
"type": "json_object",
},
temperature=0.7,
)

```
**Additional context**
I am new to this field, any suggestion is appriciated. Thanks !

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.