AIAnytime / AIAnytime/ChatCSV-Llama2-Chatbot
Number of tokens (757) exceeded maximum context length (512).
オープン
- 主要言語
- Python
- スター
- 67
- フォーク
- 38
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
hi, trying to build this app in local, and used same model llama-2-7b-chat.ggmlv3.q8_0.bin
when run the app UI showing some random message same like you showed but checking in console getting this below message:
Number of tokens (755) exceeded maximum context length (512).
Number of tokens (756) exceeded maximum context length (512).
Number of tokens (757) exceeded maximum context length (512).
so increased max_new_tokens=2048, and increased n_ctx and added truncate=True , non of them are fixing this issue.
Changed the model as well. still same issue.
do you know any solution for this issue?
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。