ai-forever / ai-forever/MERA

Модель при тестах потребляет в 50 раз больше VRAM

未关闭
#29 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Jupyter Notebook
星标
63
派生
8
PR 合并指标
30 天内没有已合并 PR

描述

Решил сначала протестить скрипт run_mera.sh на малой модели. Выбрал модель, квантизация которой весит 400МБ. Запустил скрипт, а у меня сьело в 50 раз (!!!) больше! Потребляет аж 20ГБ - не понимаю почему так происходит. Это для 13b моделей мне нужно 13*50=650 гигов?)) Вот команда, которую я использовал для старта моего скрипта:
```
CUDA_VISIBLE_DEVICES=0 MERA_FOLDER="$PWD/mera_results/Qwen-Qwen2.5-0.5B-Instruct-AWQ-128G-INT4-vGEMM" MERA_MODEL_STRING="pretrained=/mnt/d/Python_Projects/Jupyter/other/call-center-prompter/debug/quantized_awq/Qwen-Qwen2.5-0.5B-Instruct-AWQ-128G-INT4-vGEMM,dtype=auto" bash run_mera.sh
```
P.s. Очень сильно хотелось бы для модели на 500Мб потребления хотя бы до гигабайта((( Наверное это какой-то баг.
OS: WSL ubuntu
![image](https://github.com/user-attachments/assets/bd44aed0-6782-47fd-9e20-9f25dcbc7f26)
![image](https://github.com/user-attachments/assets/922b8f67-54fb-49b9-a3c4-47c02b3abd80)

贡献指南

这个仓库没有索引到贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。