PostHog / PostHog/posthog-python
Backpressure when queue is full
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 61
- Forks
- 82
- Ø Merge
- 1 T. 15 Std.
- Gemergte PRs (30 T.)
- 71
Beschreibung
We uncovered a case where a key customer was losing events due to the way this library is configured/built.
With the flush_interval=2 (default is 0.5), flush_at=100 and max_queue_size=1000 (default 10k), their queue got full during peak hours and they started dropping events.
Their recommended solution is very reasonable:
Ideally the library would provide back pressure by blocking/waiting for acknowledgement when flushing a batch of events vs having to configure a max_queue_size.
We should implement some way to block when the queue is full, or some way to let the user know the queue size.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Keine Datei, kein Test und kein Einstiegspunkt ist genannt. Beginne damit nachzuverfolgen, wie flush_interval, flush_at und max_queue_size die Zustellung von Ereignissen steuern, und kläre anschließend, ob das vorgesehene Verhalten darin besteht, bei einer vollen Warteschlange zu blockieren oder deren Größe offenzulegen. Der Abschluss sollte ein definiertes Verhalten bei voller Warteschlange sowie eine Abdeckung des gemeldeten Falls von Ereignisverlust umfassen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- backend, data
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100