AIAnytime / AIAnytime/Llama2-Medical-Chatbot
Could not reach the server
Aberta
- Linguagem predominante
- Python
- Estrelas
- 355
- Forks
- 240
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
Nice project and video!
As an LLM newbie I might be being too optimistic trying to run this with the Llama 2 quantized model _llama-2-7b-chat.Q4_K_M.gguf_ on a cpu with only 8GB RAM nominal. The Chainlit page loads and after entering a question after a while it appears to timeout with the message "Could not reach the server". Should I increase the session_timeout parameter in config.toml or run some of the code in async mode?
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Avaliação
Esta issue ainda não foi avaliada.