PostHog / PostHog/posthog-python
Backpressure when queue is full
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 61
- Forks
- 82
- Merge medio
- 1 d 15 h
- PR fusionados (30 d)
- 71
Descripción
We uncovered a case where a key customer was losing events due to the way this library is configured/built.
With the flush_interval=2 (default is 0.5), flush_at=100 and max_queue_size=1000 (default 10k), their queue got full during peak hours and they started dropping events.
Their recommended solution is very reasonable:
Ideally the library would provide back pressure by blocking/waiting for acknowledgement when flushing a batch of events vs having to configure a max_queue_size.
We should implement some way to block when the queue is full, or some way to let the user know the queue size.
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
No se nombra ningún archivo, prueba ni punto de entrada. Empieza rastreando cómo flush_interval, flush_at y max_queue_size controlan la entrega de eventos y, después, aclara si el comportamiento previsto es bloquearse cuando la cola está llena o exponer su tamaño. El trabajo terminado debe incluir un comportamiento definido cuando la cola está llena y cobertura para el caso de pérdida de eventos informado.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- backend, data
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Tranquilo
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 35/100