github / github/app

prompt injection uses a TON of tokens.

Đang mở
#1,768 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Feedback os:macos
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
2.1k
Fork
153
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

prompt injection uses a TON of tokens. If I have plugins they are used globally, and as such they're injected into every prompt. It means if I'm using local models (or heck even just doing API cost) theres a ton of tokens I don't always need. We need a way to tie plugins to sessions, or specific workflows. A way to enable or disable them situationally instead of just globally. A local model can NEVER be used with this app unless it has minimum 64k context window, but 128k is better. Even with that, session length must be kept short so as not to overwhelm the models.

---
| Field | Value |
| --- | --- |
| App version | 1.0.17 |
| OS | macOS 26.5.2 |
| Theme | GitHub |
| Path | /chat |
| Tenure | Week 14 |

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu tại điểm vào /chat và theo dõi cách các plugin được đưa vào prompt cũng như cách các session hoặc workflow được biểu diễn. Xác định cách bật hoặc tắt plugin theo từng session hoặc workflow, sau đó xác minh rằng các plugin không được sử dụng sẽ bị loại khỏi prompt và chat vẫn hoạt động với các cửa sổ ngữ cảnh mô hình ngắn hơn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
ai, desktop
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.