AIAnytime / AIAnytime/Llama2-Medical-Chatbot
Could not reach the server
Đang mở
- Ngôn ngữ chính
- Python
- Star
- 355
- Fork
- 240
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Nice project and video!
As an LLM newbie I might be being too optimistic trying to run this with the Llama 2 quantized model _llama-2-7b-chat.Q4_K_M.gguf_ on a cpu with only 8GB RAM nominal. The Chainlit page loads and after entering a question after a while it appears to timeout with the message "Could not reach the server". Should I increase the session_timeout parameter in config.toml or run some of the code in async mode?
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.