AdityaPatange1 / AdityaPatange1/llm-classifier-go
Check if prompt tokens are within context-window before LLM calls
未关闭
enhancement
- 主要语言
- Go
- 星标
- 3
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
描述
Currently, the prompt token size is not checked. We want to check if the prompts are within the context window and then take the necessary steps to compress the prompt incase it exceeds the context window.
贡献指南
这个仓库没有索引到贡献指南
评估
这个 Issue 还没有评估数据。