awslabs / awslabs/python-deequ

Why the callback server always listens to 25334 by default

Abierto
#19 5 comentarios 2 reacciones 0 asignados Ver en GitHub
bug help wanted
Lenguaje dominante
Jupyter Notebook
Estrellas
826
Forks
158
Merge medio
9 d 22 h
PR fusionados (30 d)
3

Descripción

Why the callback server always listens to 25334 by default, which will cause the pyspark applications to not run on the same server at the same time.
I tried to modify the listening port before starting the callback server like below:

**scala_utils.py**
`
self.gateway.start_callback_server(callback_server_parameters = CallbackServerParameters(port = 0))
`

this can work on the different port for each pyspark application, but the Checks Failure with the constraint_message:

`Can't execute the assertion: Error while obtaining a new communication channel`

Does anyone have any suggestions on this issue ?

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Empieza en scala_utils.py, en la invocación de callback_server_parameters, y reproduce dos aplicaciones PySpark ejecutándose en el mismo servidor. Compara el puerto predeterminado del servidor de callbacks con port=0 y sigue la assertion resultante del canal de comunicación. Se considera terminado cuando las aplicaciones concurrentes pueden usar puertos de callback distintos sin Checks Failure.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
distributed-systems
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Tranquilo
Claridad
Necesita aclaración
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.