alipay / alipay/PainlessInferenceAcceleration
How the performance VS vLLM inference（vLLM vs Lookahead）
Aperta
- Lingua principale
- Python
- Stelle
- 370
- Fork
- 23
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
In the benchmark comparison results, could we add a comparison with VLLM to see the acceleration effects?
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Valutazione
Questa issue non è ancora stata valutata.