apache / apache/cloudstack

Redundant VPC VR goes dual PRIMARY (race condition?)

Offen
#11,710 23 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
component:virtual-router status:needs-investigation
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.4k
Ø Merge
6 T. 19 Std.
Gemergte PRs (30 T.)
32

Beschreibung

### problem

When multiple network tiers are brought up in quick succession in a redundant VPC, I can consistently reproduce both VPCs going primary.

This is really bad because the VIP is then owned by both Virtual Routers and it means traffic is getting dropped like crazy, it makes the entire VPC unusable. Restarting the VPC recovers it to a good state.

Please see the comments for debugging information, but in short it appears at least one of the nodes ends up getting munged address information which causes the wrong ips to be programmed on interfaces and the keepalived configs to diverge between nodes which causes the dual primary. The underlying cause of the issue is this munged address information.

### versions

4.21.0

### The steps to reproduce the bug

Use Terraform to create the VPC, network tiers, and VM Instances.
Terraform configuration being used is here: https://github.com/bradh352/terraform-config

### What to do about it?

_No response_

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, den Zustand mit zwei Primaries anhand der im Issue verlinkten Terraform-Konfiguration zu reproduzieren, mit der VPC, den Netzwerkebenen und den VM-Instanzen auf CloudStack 4.21.0. Lies die Debugging-Informationen in den Kommentaren und verfolge die verfälschten Adressinformationen durch die Schnittstellenprogrammierung und die voneinander abweichenden keepalived-Konfigurationen. Als abgeschlossen gilt die Aufgabe, wenn die schnelle Erstellung von Netzwerkebenen nicht mehr zwei primäre VPCs oder eine gemeinsam genutzte VIP erzeugt und das Wiederherstellungsverhalten durch einen geeigneten Regressionstest abgedeckt ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
terraform
Bereich
cloud, networking
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.