Bound Azure Pipelines selector history and publish cost

Offen
#164 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
48/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Ruhig
Tech-Stack
csharp
Bereich
tooling

Rechercherichtung

Beginne in src/AzurePipelines/PipelineCachingCacheClient.cs bei GetSelectors(...).ToHashSetAsync und dem TODO zur Begrenzung der gespeicherten Selektoren. Verfolge, wie mit Zeitstempeln versehene Selektorschlüssel, Manifeste und Downloads von Pfad-Sets behandelt werden, und füge anschließend Tests für Selektoränderungen, Deduplizierung, Verdrängung, eine begrenzte Manifestgröße und Remote-Anfragen hinzu. Erledigt ist die Aufgabe, wenn Aufbewahrung und Veröffentlichung weiterhin begrenzt bleiben und die beibehaltenen Selektoren erwartungsgemäße Cache-Treffer liefern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Summary

The Azure Pipelines cache backend carries forward every selector ever observed for a weak fingerprint and republishes the complete set on each new selector.

Impact

For a recurring weak fingerprint whose path set or strong selector changes over time, each miss fetches the prior selector manifest, downloads every unique historical path set, writes temporary files, and republishes the full set. Publish work grows linearly with selector history rather than remaining bounded. Azure retention and selector deduplication limit some scenarios, but a long-lived cache universe can still accumulate substantial sequential remote I/O.

Evidence

src/AzurePipelines/PipelineCachingCacheClient.cs calls GetSelectors(...).ToHashSetAsync, adds the current selector, then iterates all selectors and republishes them. The implementation already contains TODO: limit the number of selectors we store. Timestamped selector keys carry the newest set across builds.

Suggested fix

Introduce a bounded retention policy for selectors per weak fingerprint, preserving the most useful/recent entries. Avoid downloading historical path-set content that will not be retained. Add instrumentation or tests demonstrating bounded manifest size and remote requests.

Acceptance criteria

  • Selector count and manifest size remain bounded under repeated selector churn.
  • Existing selectors still provide expected cache hits within the retention policy.
  • Publishing a new selector performs bounded remote work.
  • Tests cover churn, deduplication, and eviction behavior.
Vorherrschende Sprache
C#
Sterne
64
Forks
24
Ø Merge
1 T. 14 Std.
Gemergte PRs (30 T.)
2

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus microsoft/MSBuildCache

Alle Issues in microsoft/MSBuildCache

Ähnliche Issues

Weitere Issues zu C#

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.