something seems not correct with ds v4 flash caching

Ouverte
#702 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
28/100
Type d'issue
Bug
Clarté
À clarifier
Activité
Active
Domaine
ai, backend

Piste de recherche

Commencez par examiner les éléments de preuve joints du tableau de bord d’utilisation et les request trace IDs récents mentionnés dans le rapport. Comparez l’entrée facturée au comportement cache-read attendu et vérifiez si les requêtes DeepSeek V4 Flash reçoivent des prompt-cache hits ; le travail est terminé lorsque la cause liée au routing ou au caching est confirmée, ou écartée avec des éléments de preuve.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Summary

Hi Command team,

Could you please help check whether there is an issue with DeepSeek V4 Flash caching or upstream routing on the Command servers?

My GOAT usage has increased unusually fast over the last couple of hours, and I hit the $35 weekly limit much faster than before, even though I have only been using deepseek/deepseek-v4-flash for past few hours and my workflow has not changed significantly.

One recent request from my usage dashboard shows:

  • Input tokens: 357,723
  • Output tokens: 120
  • Charged: $0.0783
  • Model: deepseek/deepseek-v4-flash

At the current off-peak DeepSeek V4 Flash pricing, 357,723 fresh input tokens × $0.22/M is approximately $0.0787, which is almost exactly what I was charged.

This seems to suggest that nearly the entire input was billed as fresh/cache-miss input rather than cache-read input.

This is unusual for my workload. When I previously used the DeepSeek API directly for the same type of long-running agent workflow, my prompt cache hit rate was typically around 95–98%. For example, on one day I had about 758M cached input tokens versus only 13.4M uncached input tokens.

Could you please check whether there has recently been any issue with:

  • DeepSeek V4 Flash prompt caching
  • upstream provider/server routing or cache affinity
  • cache keys being invalidated between consecutive agent requests
  • any changes related to the recent DeepSeek V4 Flash / pricing update

I’ve attached screenshots of both my Command usage and my previous DeepSeek API usage for comparison.

If possible, could you also check the trace IDs from my recent requests and confirm whether those requests were actually receiving prompt-cache hits?

Thanks!

Image
Expected Behavior

n.a.

Actual Behavior

n.a.

Steps to reproduce the issue

n.a.

Command Code Version

claude code

Operating System

macOS

Terminal/IDE

No response

Shell

No response

Session file (optional)

No response

Fix prompt (optional)

No response

Additional context

No response

Langage dominant
Aucune donnée de langage
Étoiles
4k
Forks
350
Métriques de merge des PR
Aucune PR mergée en 30 j

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de CommandCodeAI/command-code

Toutes les issues de CommandCodeAI/command-code

Issues similaires

Plus d'issues AI Infra & Agents

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.