awslabs / awslabs/python-deequ
Why the callback server always listens to 25334 by default
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 826
- Forks
- 158
- Merge medio
- 9 d 22 h
- PR fusionados (30 d)
- 3
Descripción
Why the callback server always listens to 25334 by default, which will cause the pyspark applications to not run on the same server at the same time.
I tried to modify the listening port before starting the callback server like below:
**scala_utils.py**
`
self.gateway.start_callback_server(callback_server_parameters = CallbackServerParameters(port = 0))
`
this can work on the different port for each pyspark application, but the Checks Failure with the constraint_message:
`Can't execute the assertion: Error while obtaining a new communication channel`
Does anyone have any suggestions on this issue ?
Guía de contribución
Línea de trabajo
Empieza en scala_utils.py, en la invocación de callback_server_parameters, y reproduce dos aplicaciones PySpark ejecutándose en el mismo servidor. Compara el puerto predeterminado del servidor de callbacks con port=0 y sigue la assertion resultante del canal de comunicación. Se considera terminado cuando las aplicaciones concurrentes pueden usar puertos de callback distintos sin Checks Failure.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- distributed-systems
- Tipo de issue
- Error
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Tranquilo
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 35/100