envoyproxy / envoyproxy/gateway

Best Practices for Load Shedding in Envoy Gateway

オープン
#9,653 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
stale triage
主要言語
Go
スター
3k
フォーク
864
平均マージ
1日 22時間
マージ済み PR(30日)
148

説明

Hello,

I'm looking for guidance on implementing load shedding in Envoy Gateway to protect backend services under high load.

In networking, mechanisms such as Random Early Detection (RED) and traffic policing proactively prevent congestion by dropping or limiting traffic before the network becomes saturated. I'm looking for the equivalent approach for HTTP/API traffic using Envoy Gateway.

Specifically, I'd like to know:

Does Envoy Gateway support proactive load shedding based on resource pressure (e.g., request latency, concurrency, queue depth, CPU utilization, or other overload signals)?
Is Envoy's adaptive concurrency filter currently supported and configurable through Envoy Gateway?
What is the recommended way to reject excess requests before backend services become overloaded?
Are there best practices for combining:
Local or global rate limiting
Circuit breakers
Adaptive concurrency
Overload Manager
Kubernetes HPA
If some of these capabilities are not yet exposed by Envoy Gateway, what is the recommended production approach today?

Our goal is not only to enforce rate limits, but to gracefully shed load when the platform approaches its safe operating capacity, ensuring that the system remains responsive instead of allowing latency to grow until services become unavailable.

If there are existing examples, documentation, or recommended configuration patterns for this use case, I would greatly appreciate being pointed to them.

Thank you!

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

Issue では、ファイル、テスト、エントリポイントが特定されていません。まず、Envoy Gateway の既存のドキュメントと、rate limiting、circuit breakers、adaptive concurrency、Overload Manager、Kubernetes HPA に関する設定サポートを確認します。サポートされている機能と、production load shedding に推奨されるアプローチを文書化できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
kubernetes
領域
backend-api-design, networking
issue の種類
ドキュメント
難易度
5/5
見積もり時間
1週間以上
活発さ
活発
明瞭さ
説明が足りない
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。