awslabs / awslabs/python-deequ

Deequ error for Uniqueness analyzer (iterableAsScalaIterable)

Ouverte
#73 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
bug
Langage dominant
Jupyter Notebook
Étoiles
826
Forks
158
Merge moyen
9 j 22 h
PR mergées (30 j)
3

Description

Describe the bug
Trying few example from pydeequ quickstart. When trying to compute Uniqueness facing java exception 'Method iterableAsScalaIterable([class java.lang.String]) does not exist'

To Reproduce
Steps to reproduce the behaviour:

Start Jupyter from Pyspark shell
All examples from basic tutorial works however adding analyser .addAnalyzer(Uniqueness("b"))
Brings the error. (screenshots attached).
Screenshots
![image](https://user-images.githubusercontent.com/43914423/132203050-b36b4c3b-4be9-46a3-b70d-4dca2dceef06.png)

This is working
![image](https://user-images.githubusercontent.com/43914423/132203098-be22decc-f1c3-45da-ab7e-8ddc08ee543c.png)
**This is not working**
![image](https://user-images.githubusercontent.com/43914423/132203153-0b790ab7-2d1f-4895-978e-4603679e1f8b.png)

**Error:**
Py4JError: An error occurred while calling z:scala.collection.JavaConversions.iterableAsScalaIterable. Trace:
py4j.Py4JException: Method iterableAsScalaIterable([class java.lang.String]) does not exist
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
at py4j.Gateway.invoke(Gateway.java:276)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)

Additional context
Tried a lot of deequ jar options but this deequ-1.1.0_spark-3.0-scala-2.12.jar worked for all cases except the one described above

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

Commencez dans une session Jupyter lancée depuis le shell PySpark et reproduisez les exemples de démarrage rapide, puis ajoutez Uniqueness("b") pour isoler l’appel qui échoue. Comparez les analyseurs fonctionnels avec le chemin en échec et la configuration de deequ-1.1.0_spark-3.0-scala-2.12.jar ; c’est terminé lorsque Uniqueness s’exécute sans l’erreur iterableAsScalaIterable de Py4J.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
jupyter-notebook, python, scala
Domaine
data
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
Calme
Clarté
Plutôt claire
Accessibilité débutants
47/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.