prompt injection uses a TON of tokens.
- Vorherrschende Sprache
- Keine Sprachdaten
- Sterne
- 2.1k
- Forks
- 153
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
prompt injection uses a TON of tokens. If I have plugins they are used globally, and as such they're injected into every prompt. It means if I'm using local models (or heck even just doing API cost) theres a ton of tokens I don't always need. We need a way to tie plugins to sessions, or specific workflows. A way to enable or disable them situationally instead of just globally. A local model can NEVER be used with this app unless it has minimum 64k context window, but 128k is better. Even with that, session length must be kept short so as not to overwhelm the models.
---
| Field | Value |
| --- | --- |
| App version | 1.0.17 |
| OS | macOS 26.5.2 |
| Theme | GitHub |
| Path | /chat |
| Tenure | Week 14 |
Beitragsleitfaden
Rechercherichtung
Beginne am Einstiegspunkt /chat und verfolge nach, wie Plugins in Prompts eingebunden werden und wie Sitzungen oder Workflows dargestellt werden. Lege fest, wie Plugins pro Sitzung oder Workflow aktiviert oder deaktiviert werden können, und überprüfe anschließend, dass nicht verwendete Plugins aus Prompts ausgeschlossen werden und der Chat weiterhin mit kürzeren Modell-Kontextfenstern funktioniert.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Bereich
- ai, desktop
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100