Модель при тестах потребляет в 50 раз больше VRAM
- 主要语言
- Jupyter Notebook
- 星标
- 63
- 派生
- 8
- PR 合并指标
- 30 天内没有已合并 PR
描述
Решил сначала протестить скрипт run_mera.sh на малой модели. Выбрал модель, квантизация которой весит 400МБ. Запустил скрипт, а у меня сьело в 50 раз (!!!) больше! Потребляет аж 20ГБ - не понимаю почему так происходит. Это для 13b моделей мне нужно 13*50=650 гигов?)) Вот команда, которую я использовал для старта моего скрипта:
```
CUDA_VISIBLE_DEVICES=0 MERA_FOLDER="$PWD/mera_results/Qwen-Qwen2.5-0.5B-Instruct-AWQ-128G-INT4-vGEMM" MERA_MODEL_STRING="pretrained=/mnt/d/Python_Projects/Jupyter/other/call-center-prompter/debug/quantized_awq/Qwen-Qwen2.5-0.5B-Instruct-AWQ-128G-INT4-vGEMM,dtype=auto" bash run_mera.sh
```
P.s. Очень сильно хотелось бы для модели на 500Мб потребления хотя бы до гигабайта((( Наверное это какой-то баг.
OS: WSL ubuntu


贡献指南
这个仓库没有索引到贡献指南
评估
这个 Issue 还没有评估数据。