github / github/app

Support local model routing with configurable escalation to paid hosted models

Đang mở
#460 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
Requests and ideas
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
2.1k
Fork
153
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

### Feature summary

Add a configurable “Local Auto” or “Auto Customise” mode to the GitHub Copilot app that allows users to route work through local models first, then escalate to hosted or external models only when needed.

### What problem are you trying to solve?

I can currently use local agents with the CLI and VS Code, but I want the same capability in the GitHub Copilot app.

For hobby and OSS projects, routing all agent work through hosted models can become too expensive. Some of my open-source project usage can consume thousands of dollars per month in model costs if everything is handled by hosted services.

I need a way to use local models for work they can handle, and only escalate to paid hosted models when the local model needs help. This is primarily a cost-control and token-usage-management problem.

### Proposed solution

Add local models or local agents to the model selection list in the GitHub Copilot app, alongside the existing GitHub Copilot-hosted models.

In addition, provide an optional “Local Auto” or “Auto Customise” mode where users can configure a service hierarchy for the Copilot orchestrator.

Example hierarchy:

1. Local models
2. OpenAI
3. Anthropic
4. GitHub Copilot-hosted models

The orchestrator should attempt to use services in the configured order and escalate only when required.

Each service should have a configurable escalation sensitivity setting, such as a slider, so users can control how aggressively Copilot moves from local models to paid hosted models.

For paid external providers such as OpenAI and Anthropic, it would also be useful to support:

- Default model selection
- Disable provider when credits expire
- Drag-and-drop ordering in the escalation hierarchy
- Clear visibility of which provider will be used first, next, and last

As a bonus, it would be valuable if GitHub Copilot could route through existing user entitlements for providers such as Claude or Codex, so users can use included tokens across providers as part of their cost-management strategy.

### Workflow impact

This would primarily affect users running GitHub Copilot agents on hobby, OSS, experimental, or high-volume projects where hosted model usage needs to be actively controlled.

It would improve the GitHub Copilot app workflow by letting users keep Copilot as the orchestration surface while controlling cost, latency, privacy, and model capability.

Users could run cheaper or free local models by default, escalate to stronger paid models only when needed, and avoid having to move between the GitHub Copilot app, CLI, VS Code, and separate provider tools just to manage model usage.

The goal is not to avoid using GitHub Copilot-hosted models. The goal is to control when they are used.

### Installation context

_No response_

### Additional context

Image

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Issue không xác định các tệp, bài kiểm thử hoặc điểm vào. Hãy bắt đầu bằng cách xác định các bề mặt lựa chọn mô hình và điều phối tác tử của ứng dụng, sau đó xác định cách các nhà cung cấp cục bộ, nhà cung cấp được lưu trữ, thứ tự và các cài đặt chuyển cấp được biểu diễn. Phần hoàn thành cần bao gồm một luồng cấu hình được xác định và hành vi định tuyến đã được kiểm thử, nhưng issue không chỉ rõ tiêu chí nghiệm thu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
github
Lĩnh vực
ai, desktop
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.