abetlen / abetlen/llama-cpp-python

OpenAI v1 Compatibility in Python API

Offen
#950 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
10.6k
Forks
1.4k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

With the update to v1 OpenAI's API changed significantly, while backwards compatibility was straightforward to preserve on the server the python API is lagging.

The main difference in the pre and pos-v1 APIs is that OpenAI no longer returns dictionary-like objects from and instead fields are accessed directly.

My intention is two preserve the current api of the `Llama` class and not introduce any breaking changes however it would be nice to support the new API in such a way that OpenAI applications can swap out and use a local llama.cpp model.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.