abetlen / abetlen/llama-cpp-python

Models with multiple chat templates

Ouverte
#1,336 7 commentaires 1 réaction 0 personnes assignées Voir sur GitHub
enhancement
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

Not an issue yet, but will need to be handled once [this](https://github.com/ggerganov/llama.cpp/issues/6484) is implemented based on recent transformers [changes](https://github.com/huggingface/transformers/pull/29658).

Also note the kwargs change in the same PR which will be used by f.ex. C4AI Command R models (new chat template is not merged yet) to pass along `tools` and `documents`, while we already support `tools`, it might be worthwhile to support other things.

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.