Altinity / Altinity/altinityknowledgebase

Document GCS bucket retention policy impact on ClickHouse storage

Abierto Apto para principiantes
#147 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Lenguaje dominante
HTML
Estrellas
62
Forks
49
Merge medio
6 min
PR fusionados (30 d)
3

Descripción

Problem

The current GCS documentation (content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md) only covers basic setup (HMAC keys, endpoint configuration) but doesn't mention an important operational caveat.

Missing Information

When a GCS bucket has a retention policy enabled, objects cannot be deleted until the retention period expires. This causes issues with ClickHouse because it regularly deletes data during:

  • Part merges - old parts are removed after merge
  • Mutations - replaced data is deleted
  • TTL expiration - expired data is purged

If the bucket retention policy prevents deletion, old data accumulates and storage grows exponentially, leading to unexpected costs and potential operational issues.

Suggested Addition

Add a warning/note to the GCS documentation explaining:

  1. Bucket retention policies prevent ClickHouse from deleting obsolete data
  2. This causes continuous storage growth
  3. Recommendation to disable retention policy or use a bucket without one for ClickHouse storage

If this seems like a good enhancement, I'd be happy to take this up and submit a PR.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Lee content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md y revisa las instrucciones existentes para configurar GCS. Añade una advertencia que explique cómo las políticas de retención impiden que ClickHouse elimine datos durante las fusiones, las mutaciones y la expiración de TTL, y recomienda usar un bucket sin una política de retención. La tarea estará terminada cuando el riesgo de crecimiento del almacenamiento y de costes operativos esté documentado claramente.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
clickhouse, google-cloud
Área
databases, documentation
Tipo de issue
Documentación
Dificultad
1/5
Tiempo estimado
Menos de una hora
Estado de actividad
Estancado
Claridad
Bien especificado
Aptitud para principiantes
72/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.