CommandCodeAI / CommandCodeAI/command-code

Provider API: failed requests and no-op agent runs are billed in full ($15.56 in under 3 minutes on gpt-5.6-sol)

Đang mở
#888 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
4k
Fork
350
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

Summary

Provider API, model gpt-5.6-sol, plan individual-goat:
$15.5624 charged across 12 requests in 2 minutes 49 seconds (2026-09-19 05:36:24-05:39:13 local UTC+8 / 2026-09-18 21:36-21:39 UTC).

Each request carried ~305k-336k tokens of context, giving an effective rate of ~$4.02 per 1M tokens. This single 3-minute burst exceeded the 5-hour window cap ($14; window shows $17.2783 used) and consumed 44% of the $35 weekly cap.

Expected Behavior
  1. A request that returns FAILED should not be billed in full.
  2. Exceeding a 5-hour window should not be reachable by one client in under 3 minutes with no warning.
  3. A per-API-key spend cap or alert (and/or a warning threshold before the window is exhausted) would prevent silent burn.
Actual Behavior
  • The request at 05:39:13 returned FAILED and was still billed $0.2844.
  • A background agent made 10 calls on gpt-5.6-sol costing ~$7.19 with no usable output at all.
  • 4 of the 12 requests cost ~$3.00-3.31 each ($12.6744 = 81.4% of the spend); the other 8 cost $0.27-0.44. The expensive ones appear to be full cache-prefix rewrites billed at $6.25/1M.
  • Net: $15.5624 for 3,869,607 tokens (1,306,770 input + 2,562,837 cache read + 14,367 output) = $4.02 per 1M tokens.
Steps to reproduce the issue
  1. Use the Provider API (api.commandcode.ai/provider/v1) with model gpt-5.6-sol on a plan that has a 5-hour window cap.
  2. Send requests from a client that carries a large context (~300k+ tokens per call) and does not keep the prompt prefix stable - e.g. a harness that compacts context, retries, or switches models.
  3. Observe ~$1.30 average per request, then the 5-hour window being exceeded within minutes.
Command Code Version

1.56.2

Operating System

Windows

Terminal/IDE

DeepSeek Harness (dsh) via Provider API, not the CLI

Shell

PowerShell

Session file (optional)

No response

Fix prompt (optional)

No response

Additional context

Requesting a review and credit for the FAILED request ($0.2844) and the 10 no-op background-agent calls (~$7.19) - failed or empty runs should not bill at full rate.

Account context:

  • plan: individual-goat; billing period started 2026-09-18T12:02:57Z
  • official usage summary for the period: $19.2692 over 1,573 requests, 670,391,454 input tokens / 1,170,128 output tokens
  • /alpha/billing/credits at the time: fiveHour used $17.2783 / cap $14 (exceeded), weekly used $19.2547 / cap $35

Feature request that would have prevented this: expose per-request cost in the API (or a spend webhook) so clients can stop before burning a whole window. Note also that the usage API does not break out cache-write tokens, which makes client-side cost meters under-report roughly 2x for models that bill cache writes.

Happy to share the 12 request IDs from the Studio usage log.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu tại điểm vào của Provider API, api.commandcode.ai/provider/v1, và theo dõi cách các yêu cầu thất bại, các lần chạy agent rỗng, các token ghi cache và các giới hạn chi tiêu được ghi nhận. Không có tệp repository hoặc test nào được nêu tên; việc hoàn tất cần xác định liệu các lệnh gọi thất bại hoặc no-op có được tính phí chính xác hay không, và liệu hành vi của mức giới hạn được báo cáo, cảnh báo hoặc chi phí trên mỗi yêu cầu có được xử lý hay không.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
ai, api, payments
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
42/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.