Altinity / Altinity/altinityknowledgebase
Document GCS bucket retention policy impact on ClickHouse storage
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- HTML
- Sterne
- 62
- Forks
- 49
- Ø Merge
- 6 Min.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Problem
The current GCS documentation (content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md) only covers basic setup (HMAC keys, endpoint configuration) but doesn't mention an important operational caveat.
Missing Information
When a GCS bucket has a retention policy enabled, objects cannot be deleted until the retention period expires. This causes issues with ClickHouse because it regularly deletes data during:
- Part merges - old parts are removed after merge
- Mutations - replaced data is deleted
- TTL expiration - expired data is purged
If the bucket retention policy prevents deletion, old data accumulates and storage grows exponentially, leading to unexpected costs and potential operational issues.
Suggested Addition
Add a warning/note to the GCS documentation explaining:
- Bucket retention policies prevent ClickHouse from deleting obsolete data
- This causes continuous storage growth
- Recommendation to disable retention policy or use a bucket without one for ClickHouse storage
If this seems like a good enhancement, I'd be happy to take this up and submit a PR.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Lies content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md und überprüfe die vorhandenen Anleitungen zur GCS-Einrichtung. Füge eine Warnung hinzu, die erklärt, wie Aufbewahrungsrichtlinien das Löschen durch ClickHouse während Merges, Mutationen und des Ablaufs von TTL verhindern, und empfehle, einen Bucket ohne Aufbewahrungsrichtlinie zu verwenden. Als erledigt gilt die Aufgabe, wenn das Risiko von Speicherwachstum und Betriebskosten klar dokumentiert ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- clickhouse, google-cloud
- Bereich
- databases, documentation
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 1/5
- Geschätzter Aufwand
- Unter einer Stunde
- Aktivitätsstatus
- Veraltet
- Klarheit
- Klar beschrieben
- Anfängerfreundlichkeit
- 72/100