awslabs / awslabs/python-deequ
Deequ error for Uniqueness analyzer (iterableAsScalaIterable)
- Langage dominant
- Jupyter Notebook
- Étoiles
- 826
- Forks
- 158
- Merge moyen
- 9 j 22 h
- PR mergées (30 j)
- 3
Description
Describe the bug
Trying few example from pydeequ quickstart. When trying to compute Uniqueness facing java exception 'Method iterableAsScalaIterable([class java.lang.String]) does not exist'
To Reproduce
Steps to reproduce the behaviour:
Start Jupyter from Pyspark shell
All examples from basic tutorial works however adding analyser .addAnalyzer(Uniqueness("b"))
Brings the error. (screenshots attached).
Screenshots

This is working

**This is not working**

**Error:**
Py4JError: An error occurred while calling z:scala.collection.JavaConversions.iterableAsScalaIterable. Trace:
py4j.Py4JException: Method iterableAsScalaIterable([class java.lang.String]) does not exist
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
at py4j.Gateway.invoke(Gateway.java:276)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
Additional context
Tried a lot of deequ jar options but this deequ-1.1.0_spark-3.0-scala-2.12.jar worked for all cases except the one described above
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez dans une session Jupyter lancée depuis le shell PySpark et reproduisez les exemples de démarrage rapide, puis ajoutez Uniqueness("b") pour isoler l’appel qui échoue. Comparez les analyseurs fonctionnels avec le chemin en échec et la configuration de deequ-1.1.0_spark-3.0-scala-2.12.jar ; c’est terminé lorsque Uniqueness s’exécute sans l’erreur iterableAsScalaIterable de Py4J.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- jupyter-notebook, python, scala
- Domaine
- data
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- Calme
- Clarté
- Plutôt claire
- Accessibilité débutants
- 47/100