agentscope-ai / agentscope-ai/TuFT
Improve lora adapter lifecycle management functionality
オープン
- 主要言語
- Python
- スター
- 69
- フォーク
- 14
- 平均マージ
- 6時間 31分
- マージ済み PR(30日)
- 13
説明
1. Limit the number of adapters that can be attach on one base model to avoid consumption of GPU memory (consider automatic adapter unloading and loading).
2. Ensure that each created adapter can be unloaded promptly, even if no unload request is issued by the user.
Both `SamplingBackend` and `TrainingBackend` need to implement above functionality. In particular, `VLLMSampllingbackend` currently lacks a mechanism to remove the adatper parameters from vLLM ( #5 ).
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。