Is possible to run this model with ROCm?
Aberta
- Linguagem predominante
- Python
- Estrelas
- 19.5k
- Forks
- 1.6k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
I have a 7900 XTX, a ROCm enabled card with 24GB of VRAM
I tried install vLLM but it just got OOM maybe because it was no flash-attention support.
tried ollama with GGUF version, but it just returns me empty response.
Guia de contribuição
Avaliação
Esta issue ainda não foi avaliada.