PostHog / PostHog/posthog-python

Backpressure when queue is full

Offen
#146 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

enhancement
Vorherrschende Sprache
Python
Sterne
61
Forks
82
Ø Merge
1 T. 15 Std.
Gemergte PRs (30 T.)
71

Beschreibung

We uncovered a case where a key customer was losing events due to the way this library is configured/built.

With the flush_interval=2 (default is 0.5), flush_at=100 and max_queue_size=1000 (default 10k), their queue got full during peak hours and they started dropping events.

Their recommended solution is very reasonable:

Ideally the library would provide back pressure by blocking/waiting for acknowledgement when flushing a batch of events vs having to configure a max_queue_size.

We should implement some way to block when the queue is full, or some way to let the user know the queue size.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Keine Datei, kein Test und kein Einstiegspunkt ist genannt. Beginne damit nachzuverfolgen, wie flush_interval, flush_at und max_queue_size die Zustellung von Ereignissen steuern, und kläre anschließend, ob das vorgesehene Verhalten darin besteht, bei einer vollen Warteschlange zu blockieren oder deren Größe offenzulegen. Der Abschluss sollte ein definiertes Verhalten bei voller Warteschlange sowie eine Abdeckung des gemeldeten Falls von Ereignisverlust umfassen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
backend, data
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.