envoyproxy / envoyproxy/gateway

Best Practices for Load Shedding in Envoy Gateway

Đang mở
#9,653 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
stale triage
Ngôn ngữ chính
Go
Star
3k
Fork
864
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
148

Mô tả

Hello,

I'm looking for guidance on implementing load shedding in Envoy Gateway to protect backend services under high load.

In networking, mechanisms such as Random Early Detection (RED) and traffic policing proactively prevent congestion by dropping or limiting traffic before the network becomes saturated. I'm looking for the equivalent approach for HTTP/API traffic using Envoy Gateway.

Specifically, I'd like to know:

Does Envoy Gateway support proactive load shedding based on resource pressure (e.g., request latency, concurrency, queue depth, CPU utilization, or other overload signals)?
Is Envoy's adaptive concurrency filter currently supported and configurable through Envoy Gateway?
What is the recommended way to reject excess requests before backend services become overloaded?
Are there best practices for combining:
Local or global rate limiting
Circuit breakers
Adaptive concurrency
Overload Manager
Kubernetes HPA
If some of these capabilities are not yet exposed by Envoy Gateway, what is the recommended production approach today?

Our goal is not only to enforce rate limits, but to gracefully shed load when the platform approaches its safe operating capacity, ensuring that the system remains responsive instead of allowing latency to grow until services become unavailable.

If there are existing examples, documentation, or recommended configuration patterns for this use case, I would greatly appreciate being pointed to them.

Thank you!

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Issue không xác định file, test hoặc entry point nào. Hãy bắt đầu bằng việc xem xét tài liệu hiện có của Envoy Gateway và phần hỗ trợ cấu hình cho rate limiting, circuit breakers, adaptive concurrency, Overload Manager và Kubernetes HPA; công việc được xem là hoàn tất khi đã ghi lại những khả năng nào được hỗ trợ và phương pháp production load shedding được khuyến nghị.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
kubernetes
Lĩnh vực
backend-api-design, networking
Loại issue
Tài liệu
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.