aws / aws/amazon-codeguru-profiler-python-agent
Missing data for processes started with ProcessPoolExecutor
- Vorherrschende Sprache
- Python
- Sterne
- 16
- Forks
- 12
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
We have a Flask application with Gunicorn running on AWS Fargate. Our application has part of the business logic executed in parallel, using ProcessPoolExecutor. The executor, including the worker processes are reused and long running.
We have noticed that we are missing profiling data for the logic executed in worker processes. We have attempted to start new profiler for worker processes using ProcessPoolExecutor initializer, but this attempt has failed with message that we can't start the profiler twice within the same process.
Beitragsleitfaden
Rechercherichtung
Beginne damit, das Flask- und Gunicorn-Setup mit einem langlebigen ProcessPoolExecutor und seinem Initializer auf AWS Fargate zu reproduzieren. Untersuche den Lebenszyklus des Profilers in Worker-Prozessen; abgeschlossen ist die Aufgabe, wenn Profiler-Daten aus den Executor-Workern gesammelt werden, ohne den duplicate-profiler-start error auszulösen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- aws, flask, python
- Bereich
- backend, observability-sre
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100