grpc / grpc/grpc-java

least_request LB strategy causes full TPS drop when upstream endpoint hang

Offen
#12,237 7 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Java
Sterne
12.1k
Forks
4k
Ø Merge
2 T. 17 Std.
Gemergte PRs (30 T.)
37

Beschreibung

### Is your feature request related to a problem?
**Yes.** The _least_request_ load balancing strategy can cause **a complete TPS drop** when a single upstream endpoint hangs. This occurs due to two primary factors:

1. Long request timeouts (like 30 seconds or more) make this much worse.
2. As shown in [LeastRequestLoadBalancer$ReadyPicker.nextChildToUse()](https://github.com/grpc/grpc-java/blob/master/xds/src/main/java/io/grpc/xds/LeastRequestLoadBalancer.java), the N_CHOICES selection method randomly picks two endpoints. It may select the same unhealthy endpoint twice(instead of two distinct endpoints).

When this occurs, all traffic is routed to the hanged up endpoint, causing a full service degradation, which is unacceptable.

### Describe the solution you'd like
1. Suport for FULL_SCAN mode of xDS LEAST_REQUEST Load Balancer Policy, which would check all endpoints before picking one.
2. Adjust the N_CHOICES algorithm to prevent it from picking the same endpoint twice, like record which endpoints were already chosen, or something else.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit xds/src/main/java/io/grpc/xds/LeastRequestLoadBalancer.java, insbesondere ReadyPicker.nextChildToUse(), und lies den bestehenden Ablauf der least_request- und xDS-Richtlinie darum herum. Ermittle, wie FULL_SCAN dargestellt wird und wie N_CHOICES derzeit Endpunkte auswählt. Als erledigt gilt, dass FULL_SCAN unterstützt wird und N_CHOICES nicht zweimal denselben Endpunkt auswählen kann, wobei das Verhalten den angeforderten Load-Balancing-Garantien entspricht.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
grpc, java
Bereich
backend-api-design, distributed-systems
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
38/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.