alipay / alipay/PainlessInferenceAcceleration

How the performance VS vLLM inference(vLLM vs Lookahead)

オープン
#3 コメント 5 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
370
フォーク
23
PR マージ指標
30日以内にマージされた PR はありません

説明

In the benchmark comparison results, could we add a comparison with VLLM to see the acceleration effects?

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。