awslabs / awslabs/python-deequ

check with hasSize/hasMin etc fails with below error. Pydeequ version 1.0.0

Offen
#64 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug help wanted
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Describe the bug**
verificationSuite check with has fails with error -
Traceback (most recent call last):
File "/Downloads/spark-2.4.4-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 2146, in start
OSError: [Errno 48] Address already in use

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "/DeequPy/adhoc_tasks/test_checks.py", line 19, in
check.hasSize(lambda x: x >= 100)
File "/opt/anaconda3/envs/DeequPy/lib/python3.7/site-packages/pydeequ/checks.py", line 134, in hasSize
assertion_func = ScalaFunction1(self._spark_session.sparkContext._gateway, assertion)
File "/opt/anaconda3/envs/DeequPy/lib/python3.7/site-packages/pydeequ/scala_utils.py", line 32, in __init__
super().__init__(gateway)
File "/opt/anaconda3/envs/DeequPy/lib/python3.7/site-packages/pydeequ/scala_utils.py", line 16, in __init__
self.gateway.start_callback_server()
File "/Downloads/spark-2.4.4-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1836, in start_callback_server
File "/Downloads/spark-2.4.4-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 2155, in start
py4j.protocol.Py4JNetworkError: An error occurred while trying to start the callback server (127.0.0.1:25334)

**To Reproduce**
Steps to reproduce the behavior:

check.hasSize(lambda x: x >= 100)

result = VerificationSuite(spark).onData(df).addCheck(check).run()

result_df = VerificationResult.checkResultsAsDataFrame(spark, result)

result_df.show()

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Führen Sie zunächst die gemeldete hasSize-Reproduktion mit Spark 2.4.4, Pydeequ 1.0.0 und Python 3.7 aus. Untersuchen Sie anschließend pydeequ/checks.py und pydeequ/scala_utils.py im Umfeld von ScalaFunction1 und dem Start des Callback-Servers. Als abgeschlossen gilt die Aufgabe, wenn hasSize und die zugehörigen hasMin-Prüfungen ohne den Py4J-Fehler „address-in-use“ abgeschlossen werden und das Verifizierungsergebnis angezeigt werden kann.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, spark
Bereich
data-engineering, testing-qa
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.