stackabletech / stackabletech/airflow-operator

Initial failed deployment can not be fixed

Offen
#147 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Rust
Sterne
32
Forks
6
Ø Merge
1 T. 7 Std.
Gemergte PRs (30 T.)
13

Beschreibung

Affected version

0.5.0-nightly

Current and expected behavior
  • stackablectl --namespace=stackable operator install airflow
    
  • helm repo add bitnami https://charts.bitnami.com/bitnami
    
  • helm install airflow-postgresql bitnami/postgresql --version 11.0.0 \
    --set auth.username=airflow \
    --set auth.password=airflow \
    --set auth.database=airflow
    
  • helm install redis bitnami/redis \
    --set auth.password=redis
    
  • Wait for all ressources are deployed

  • create airflow file

  • # airflow.yml
    apiVersion: v1
    kind: Secret
    metadata:
      name: simple-airflow-credentials
    type: Opaque
    stringData:
      adminUser.username: airflow
      adminUser.firstname: Airflow
      adminUser.lastname: Admin
      adminUser.email: airflow@airflow.com
      adminUser.password: airflow
      connections.secretKey: thisISaSECRET_1234
      connections.sqlalchemyDatabaseUri: postgresql+psycopg2://airflow:airflow@airflow-postgresql.WRONG-VALUE.svc.cluster.local/airflow
      connections.celeryResultBackend: db+postgresql://airflow:airflow@airflow-postgresql.WRONG-VALUE.svc.cluster.local/airflow
      connections.celeryBrokerUrl: redis://:redis@redis-master:6379/0
    
    ---
    apiVersion: airflow.stackable.tech/v1alpha1
    kind: AirflowCluster
    metadata:
      name: airflow
    spec:
      version: 2.2.4-python3.9-stackable0.3.0
      statsdExporterVersion: v0.22.4
      executor: CeleryExecutor
      loadExamples: true
      exposeConfig: false
      credentialsSecret: simple-airflow-credentials
      webservers:
        roleGroups:
          default:
            replicas: 1
      workers:
        roleGroups:
          default:
            replicas: 2
      schedulers:
        roleGroups:
          default:
            replicas: 1
    
  •   kubectl apply -f airflow.yml
    

This config has a bug (wrong database url)

The operator now tries to deploy airflow but the database init fails.
After seven retries all the retries are done and we are in a failure state.
Now I deleted the deployment with
kubectl delete -f airflow.yml

After that i fixed the bug and run kubectl apply -f airflow.yml. This does not try again the database init and just goes to error state.

My expected behavior would be that the database init would tried again and succeeds this time.

Possible solution

Delete the airflow operator and the Custom ressource definition and reinstall the operator. Then apply the correct yaml file. This time the database init succeeds.

Additional context

No response

Environment

Client Version: v1.22.4
Server Version: v1.23.9

Would you like to work on fixing this bug?

No response

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Verwende airflow.yml und den AirflowCluster-Reconciliation-Pfad als Einstiegspunkt; reproduziere die fehlgeschlagene PostgreSQL-Initialisierung, lösche die Ressource und wende sie erneut an, und untersuche, wie der Operator nach seinen Wiederholungsversuchen einen endgültigen Fehler erfasst. Als erledigt gilt, wenn das Korrigieren der Verbindung und erneute Anwenden dazu führt, dass die Datenbankinitialisierung und die Clusterbereitstellung erneut versucht werden und erfolgreich sind, ohne den Operator oder seine CRD neu zu installieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
kubernetes, postgresql, redis, rust
Bereich
databases, infrastructure
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.