awslabs / awslabs/python-deequ

Why the callback server always listens to 25334 by default

Aperta
#19 5 commenti 2 reazioni 0 assegnatari Vedi su GitHub
bug help wanted
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

Why the callback server always listens to 25334 by default, which will cause the pyspark applications to not run on the same server at the same time.
I tried to modify the listening port before starting the callback server like below:

**scala_utils.py**
`
self.gateway.start_callback_server(callback_server_parameters = CallbackServerParameters(port = 0))
`

this can work on the different port for each pyspark application, but the Checks Failure with the constraint_message:

`Can't execute the assertion: Error while obtaining a new communication channel`

Does anyone have any suggestions on this issue ?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia in scala_utils.py, in corrispondenza dell’invocazione di callback_server_parameters, e riproduci due applicazioni PySpark in esecuzione sullo stesso server. Confronta la porta predefinita del callback server con port=0 e traccia l’assertion risultante del canale di comunicazione. Il lavoro è completato quando le applicazioni concorrenti possono usare porte di callback distinte senza Checks Failure.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
distributed-systems
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.