awslabs / awslabs/python-deequ

Deequ error for Uniqueness analyzer (iterableAsScalaIterable)

Abierto
#73 3 comentarios 0 reacciones 0 asignados Ver en GitHub
bug
Lenguaje dominante
Jupyter Notebook
Estrellas
826
Forks
158
Merge medio
9 d 22 h
PR fusionados (30 d)
3

Descripción

Describe the bug
Trying few example from pydeequ quickstart. When trying to compute Uniqueness facing java exception 'Method iterableAsScalaIterable([class java.lang.String]) does not exist'

To Reproduce
Steps to reproduce the behaviour:

Start Jupyter from Pyspark shell
All examples from basic tutorial works however adding analyser .addAnalyzer(Uniqueness("b"))
Brings the error. (screenshots attached).
Screenshots
![image](https://user-images.githubusercontent.com/43914423/132203050-b36b4c3b-4be9-46a3-b70d-4dca2dceef06.png)

This is working
![image](https://user-images.githubusercontent.com/43914423/132203098-be22decc-f1c3-45da-ab7e-8ddc08ee543c.png)
**This is not working**
![image](https://user-images.githubusercontent.com/43914423/132203153-0b790ab7-2d1f-4895-978e-4603679e1f8b.png)

**Error:**
Py4JError: An error occurred while calling z:scala.collection.JavaConversions.iterableAsScalaIterable. Trace:
py4j.Py4JException: Method iterableAsScalaIterable([class java.lang.String]) does not exist
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
at py4j.Gateway.invoke(Gateway.java:276)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)

Additional context
Tried a lot of deequ jar options but this deequ-1.1.0_spark-3.0-scala-2.12.jar worked for all cases except the one described above

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza en una sesión de Jupyter iniciada desde el shell de PySpark y reproduce los ejemplos de inicio rápido; después añade Uniqueness("b") para aislar la llamada que falla. Compara los analizadores que funcionan con la ruta que falla y con la configuración de deequ-1.1.0_spark-3.0-scala-2.12.jar; la tarea estará terminada cuando Uniqueness se ejecute sin el error iterableAsScalaIterable de Py4J.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
jupyter-notebook, python, scala
Área
data
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
47/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.