abetlen / abetlen/llama-cpp-python
Is there support for running multiple requests at the same time?
Ouverte
- Langage dominant
- Python
- Étoiles
- 10.6k
- Forks
- 1.4k
- Métriques de merge des PR
- Métriques de PR en attente
Description
When I have an api service running on the server, and I use the api call locally, the service crashes when two requests are executed at the same time.
Guide de contribution
Ouvrir le guide de contribution
Évaluation
Cette issue n'a pas encore été évaluée.