GGUF models
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 395
- Forks
- 105
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Hi, thanks for providing a great benchmark framework.
I was wondering how can we load GGUF model? Right now, the easiest way is to serve GGUF and use litellm. However, we have no log likelihood function implemented for litellm, unable to run some task.
Thank you.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.