Altinity / Altinity/altinityknowledgebase

Document GCS bucket retention policy impact on ClickHouse storage

Offen Anfängerfreundlich
#147 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
HTML
Sterne
62
Forks
49
Ø Merge
6 Min.
Gemergte PRs (30 T.)
3

Beschreibung

Problem

The current GCS documentation (content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md) only covers basic setup (HMAC keys, endpoint configuration) but doesn't mention an important operational caveat.

Missing Information

When a GCS bucket has a retention policy enabled, objects cannot be deleted until the retention period expires. This causes issues with ClickHouse because it regularly deletes data during:

  • Part merges - old parts are removed after merge
  • Mutations - replaced data is deleted
  • TTL expiration - expired data is purged

If the bucket retention policy prevents deletion, old data accumulates and storage grows exponentially, leading to unexpected costs and potential operational issues.

Suggested Addition

Add a warning/note to the GCS documentation explaining:

  1. Bucket retention policies prevent ClickHouse from deleting obsolete data
  2. This causes continuous storage growth
  3. Recommendation to disable retention policy or use a bucket without one for ClickHouse storage

If this seems like a good enhancement, I'd be happy to take this up and submit a PR.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Lies content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md und überprüfe die vorhandenen Anleitungen zur GCS-Einrichtung. Füge eine Warnung hinzu, die erklärt, wie Aufbewahrungsrichtlinien das Löschen durch ClickHouse während Merges, Mutationen und des Ablaufs von TTL verhindern, und empfehle, einen Bucket ohne Aufbewahrungsrichtlinie zu verwenden. Als erledigt gilt die Aufgabe, wenn das Risiko von Speicherwachstum und Betriebskosten klar dokumentiert ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
clickhouse, google-cloud
Bereich
databases, documentation
Issue-Typ
Dokumentation
Schwierigkeit
1/5
Geschätzter Aufwand
Unter einer Stunde
Aktivitätsstatus
Veraltet
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
72/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.