agentscope-ai / agentscope-ai/TuFT

Improve lora adapter lifecycle management functionality

オープン
#4 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
69
フォーク
14
平均マージ
6時間 31分
マージ済み PR(30日)
13

説明

1. Limit the number of adapters that can be attach on one base model to avoid consumption of GPU memory (consider automatic adapter unloading and loading).
2. Ensure that each created adapter can be unloaded promptly, even if no unload request is issued by the user.

Both `SamplingBackend` and `TrainingBackend` need to implement above functionality. In particular, `VLLMSampllingbackend` currently lacks a mechanism to remove the adatper parameters from vLLM ( #5 ).

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。