abetlen / abetlen/llama-cpp-python

Increase server timeout for long requests

Offen
#634 3 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Python
Sterne
10.6k
Forks
1.4k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

While operating on the CPU, I am able to observe both the request and completion logs. However, due to the time-consuming nature of the request, the server issues a 504 timeout error before the completion is finalized. Therefore, I kindly propose the inclusion of an ENV variable or a flag that would allow for the adjustment of the server timeout duration.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.