alipay / alipay/PainlessInferenceAcceleration
How the performance VS vLLM inference（vLLM vs Lookahead）
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 370
- Forks
- 23
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
In the benchmark comparison results, could we add a comparison with VLLM to see the acceleration effects?
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Bewertung
Dieses Issue wurde noch nicht bewertet.