Research viability of using Dev Proxy with GitHub Models LLMs and handling throttling

Chưa có ai nhận issue này.

We need to research the feasibility of integrating Dev Proxy with LLMs provided by GitHub Models. Specifically, determine if the basic tier of GitHub Models can handle the volume of requests that Dev Proxy generates (such as during API spec generation). Additionally, investigate whether there are any request limits or throttling behaviors that may impact this integration, as our current Dev Proxy implementation did not require throttling logic when used with local models. We should also verify, if our prompts are good enough or if we'd need to think about exposing prompt-sets to make it easier to switch between the models without having to manually replace all prompts in our default files.

If using GH Models turns out to be viable we'll likely need to:

- [ ] Implement handling throttling with proper back-off
- [ ] Add support for auth in the OpenAI language model client

Let's focus on verifying the viability, before we commit to an actual implementation.

Rà soát tích hợp Dev Proxy hiện tại cho các mô hình cục bộ, quy trình tạo đặc tả API, ứng dụng khách mô hình ngôn ngữ OpenAI và các tệp prompt mặc định. Xác định liệu basic tier của GitHub Models có hỗ trợ khối lượng yêu cầu được tạo ra hay không, ghi lại các giới hạn yêu cầu và hành vi throttling, đánh giá mức độ phù hợp của prompt, đồng thời ghi lại liệu có cần thay đổi back-off, xác thực hoặc bộ prompt hay không.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.