awslabs / awslabs/python-deequ

Why the callback server always listens to 25334 by default

Offen
#19 5 Kommentare 2 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug help wanted
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

Why the callback server always listens to 25334 by default, which will cause the pyspark applications to not run on the same server at the same time.
I tried to modify the listening port before starting the callback server like below:

**scala_utils.py**
`
self.gateway.start_callback_server(callback_server_parameters = CallbackServerParameters(port = 0))
`

this can work on the different port for each pyspark application, but the Checks Failure with the constraint_message:

`Can't execute the assertion: Error while obtaining a new communication channel`

Does anyone have any suggestions on this issue ?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne in scala_utils.py bei der callback_server_parameters-Aufrufstelle und reproduziere zwei gleichzeitig auf demselben Server laufende PySpark-Anwendungen. Vergleiche den Standardport des Callback-Servers mit port=0 und verfolge die daraus resultierende Assertion des Kommunikationskanals. Erledigt ist dies, wenn gleichzeitig ausgeführte Anwendungen unterschiedliche Callback-Ports verwenden können, ohne Checks Failure.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
distributed-systems
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.