awslabs / awslabs/python-deequ
Why the callback server always listens to 25334 by default
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
Why the callback server always listens to 25334 by default, which will cause the pyspark applications to not run on the same server at the same time.
I tried to modify the listening port before starting the callback server like below:
**scala_utils.py**
`
self.gateway.start_callback_server(callback_server_parameters = CallbackServerParameters(port = 0))
`
this can work on the different port for each pyspark application, but the Checks Failure with the constraint_message:
`Can't execute the assertion: Error while obtaining a new communication channel`
Does anyone have any suggestions on this issue ?
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia in scala_utils.py, in corrispondenza dell’invocazione di callback_server_parameters, e riproduci due applicazioni PySpark in esecuzione sullo stesso server. Confronta la porta predefinita del callback server con port=0 e traccia l’assertion risultante del canale di comunicazione. Il lavoro è completato quando le applicazioni concorrenti possono usare porte di callback distinte senza Checks Failure.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- distributed-systems
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100