awslabs / awslabs/python-deequ
Why the callback server always listens to 25334 by default
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Why the callback server always listens to 25334 by default, which will cause the pyspark applications to not run on the same server at the same time.
I tried to modify the listening port before starting the callback server like below:
**scala_utils.py**
`
self.gateway.start_callback_server(callback_server_parameters = CallbackServerParameters(port = 0))
`
this can work on the different port for each pyspark application, but the Checks Failure with the constraint_message:
`Can't execute the assertion: Error while obtaining a new communication channel`
Does anyone have any suggestions on this issue ?
Beitragsleitfaden
Rechercherichtung
Beginne in scala_utils.py bei der callback_server_parameters-Aufrufstelle und reproduziere zwei gleichzeitig auf demselben Server laufende PySpark-Anwendungen. Vergleiche den Standardport des Callback-Servers mit port=0 und verfolge die daraus resultierende Assertion des Kommunikationskanals. Erledigt ist dies, wenn gleichzeitig ausgeführte Anwendungen unterschiedliche Callback-Ports verwenden können, ohne Checks Failure.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- distributed-systems
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 35/100