prompt injection uses a TON of tokens.
- Ngôn ngữ chính
- Không có dữ liệu ngôn ngữ
- Star
- 2.1k
- Fork
- 153
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
prompt injection uses a TON of tokens. If I have plugins they are used globally, and as such they're injected into every prompt. It means if I'm using local models (or heck even just doing API cost) theres a ton of tokens I don't always need. We need a way to tie plugins to sessions, or specific workflows. A way to enable or disable them situationally instead of just globally. A local model can NEVER be used with this app unless it has minimum 64k context window, but 128k is better. Even with that, session length must be kept short so as not to overwhelm the models.
---
| Field | Value |
| --- | --- |
| App version | 1.0.17 |
| OS | macOS 26.5.2 |
| Theme | GitHub |
| Path | /chat |
| Tenure | Week 14 |
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu tại điểm vào /chat và theo dõi cách các plugin được đưa vào prompt cũng như cách các session hoặc workflow được biểu diễn. Xác định cách bật hoặc tắt plugin theo từng session hoặc workflow, sau đó xác minh rằng các plugin không được sử dụng sẽ bị loại khỏi prompt và chat vẫn hoạt động với các cửa sổ ngữ cảnh mô hình ngắn hơn.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Lĩnh vực
- ai, desktop
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100