AdityaPatange1 / AdityaPatange1/llm-classifier-go
Check if prompt tokens are within context-window before LLM calls
Aberta
enhancement
- Linguagem predominante
- Go
- Estrelas
- 3
- Forks
- 0
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
Currently, the prompt token size is not checked. We want to check if the prompts are within the context window and then take the necessary steps to compress the prompt incase it exceeds the context window.
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Avaliação
Esta issue ainda não foi avaliada.