agentitive / agentitive/spellbound

Spellbound spams the endpoint when context length is exceeded.

Aberta
#44 0 comentários 0 reações 0 responsáveis Ver no GitHub
Linguagem predominante
TypeScript
Estrelas
22
Forks
2
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

Right now, we don't detect the context length error properly:

```
Unexpected chunk: {
"error": {
"message": "This model's maximum context length is 8192 tokens. However, your messages resulted in 9074 tokens. Please reduce the length of the messages.",
"type": "invalid_request_error",
"param": "messages",
"code": "context_length_exceeded"
}
}
```

Since we retry this error, we end up accidentally causing a rate limit problem:

```
Unexpected chunk: {
"error": {
"message": "Rate limit reached for default-gpt-4 in organization org-XXXXX on tokens per min. Limit: 40000 / min. Please try again in 1ms. Contact us through our help center at help.openai.com if you continue to have issues.",
"type": "tokens",
"param": null,
"code": null
}
}
```

This error is not handled correctly either.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.