abetlen / abetlen/llama-cpp-python
Does this lib support contrastive search decoding ?
Offen
enhancement
- Vorherrschende Sprache
- Python
- Sterne
- 10.6k
- Forks
- 1.4k
- PR-Merge-Kennzahlen
- PR-Kennzahlen ausstehend
Beschreibung
Hi @abetlen,
I checked the parameters in both ```__call__``` and ```create_completion``` method but did not see ```penalty_alpha``` param which represents **contrastive search** decoding. Can you update the decoding strategy soon @abetlen ?
Beitragsleitfaden
Bewertung
Dieses Issue wurde noch nicht bewertet.