CommandCodeAI / CommandCodeAI/command-code

something seems not correct with ds v4 flash caching

オープン
#702 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
言語のデータがありません
スター
4k
フォーク
350
PR マージ指標
30日以内にマージされた PR はありません

説明

Summary

Hi Command team,

Could you please help check whether there is an issue with DeepSeek V4 Flash caching or upstream routing on the Command servers?

My GOAT usage has increased unusually fast over the last couple of hours, and I hit the $35 weekly limit much faster than before, even though I have only been using deepseek/deepseek-v4-flash for past few hours and my workflow has not changed significantly.

One recent request from my usage dashboard shows:

  • Input tokens: 357,723
  • Output tokens: 120
  • Charged: $0.0783
  • Model: deepseek/deepseek-v4-flash

At the current off-peak DeepSeek V4 Flash pricing, 357,723 fresh input tokens × $0.22/M is approximately $0.0787, which is almost exactly what I was charged.

This seems to suggest that nearly the entire input was billed as fresh/cache-miss input rather than cache-read input.

This is unusual for my workload. When I previously used the DeepSeek API directly for the same type of long-running agent workflow, my prompt cache hit rate was typically around 95–98%. For example, on one day I had about 758M cached input tokens versus only 13.4M uncached input tokens.

Could you please check whether there has recently been any issue with:

  • DeepSeek V4 Flash prompt caching
  • upstream provider/server routing or cache affinity
  • cache keys being invalidated between consecutive agent requests
  • any changes related to the recent DeepSeek V4 Flash / pricing update

I’ve attached screenshots of both my Command usage and my previous DeepSeek API usage for comparison.

If possible, could you also check the trace IDs from my recent requests and confirm whether those requests were actually receiving prompt-cache hits?

Thanks!

Image
Expected Behavior

n.a.

Actual Behavior

n.a.

Steps to reproduce the issue

n.a.

Command Code Version

claude code

Operating System

macOS

Terminal/IDE

No response

Shell

No response

Session file (optional)

No response

Fix prompt (optional)

No response

Additional context

No response

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

まず、添付された使用状況ダッシュボードの証拠と、レポートで言及されている最近の request trace IDs を確認します。課金された入力を期待される cache-read の動作と比較し、DeepSeek V4 Flash requests が prompt-cache hits を受け取っているかを検証します。完了とは、routing または caching が原因であることを証拠によって確認するか、証拠によって原因ではないと判断することです。

索引モデルが issue の本文から書いたものです。

評価

領域
ai, backend
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
活発
明瞭さ
説明が足りない
初心者へのやさしさ
28/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。