abetlen / abetlen/llama-cpp-python

setting n_gpu_layers to 0 or -1 still tries to use the gpu llamaindex

Ouverte
#1,158 6 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

torch.cuda.OutOfMemoryError: HIP out of memory. Tried to allocate 224.00 MiB. GPU 0 has a total capacty of 23.98 GiB of which 44.00 MiB is free. Of the allocated memory 23.68 GiB is allocated by PyTorch, and 1.14 MiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_HIP_ALLOC_CONF

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.