abetlen / abetlen/llama-cpp-python

Increase server timeout for long requests

Ouverte
#634 3 commentaires 3 réactions 0 personnes assignées Voir sur GitHub
enhancement
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

While operating on the CPU, I am able to observe both the request and completion logs. However, due to the time-consuming nature of the request, the server issues a 504 timeout error before the completion is finalized. Therefore, I kindly propose the inclusion of an ENV variable or a flag that would allow for the adjustment of the server timeout duration.

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.