SSD tree cache KV cache
オープン
- 主要言語
- C
- スター
- 22.3k
- フォーク
- 2.1k
- 平均マージ
- 1日 3時間
- マージ済み PR（30日）
- 4
説明
Since you’re saving the KV cache to an SSD, wouldn’t it be a good idea to create a database tree, perhaps using ‘Patricia trie’ or RocksDB?
After all, system prompts are constantly repeated, and saving most of the work you’ve done would save a huge amount of inference.
コントリビューションガイド
評価
この issue はまだ評価されていません。