abetlen / abetlen/llama-cpp-python
Is there support for running multiple requests at the same time?
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 10.6k
- Fork
- 1.4k
- Chỉ số merge pull request
- Chỉ số pull request đang chờ
Mô tả
When I have an api service running on the server, and I use the api call locally, the service crashes when two requests are executed at the same time.
Hướng dẫn đóng góp
Đánh giá
Issue này chưa được đánh giá.