abetlen / abetlen/llama-cpp-python
[Question]Does llama-cpp-python support concurrent multiple requests
Aperta
- Lingua principale
- Python
- Stelle
- 10.6k
- Fork
- 1.4k
- Metriche di merge delle PR
- Metriche PR in attesa
Descrizione
means a single model handles multiple requests simultaneously
Guida per i contributori
Apri la guida per i contributori
Valutazione
Questa issue non è ancora stata valutata.