awslabs / awslabs/python-deequ

Deequ error for Uniqueness analyzer (iterableAsScalaIterable)

オープン
#73 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug
主要言語
Jupyter Notebook
スター
826
フォーク
158
平均マージ
9日 22時間
マージ済み PR(30日)
3

説明

Describe the bug
Trying few example from pydeequ quickstart. When trying to compute Uniqueness facing java exception 'Method iterableAsScalaIterable([class java.lang.String]) does not exist'

To Reproduce
Steps to reproduce the behaviour:

Start Jupyter from Pyspark shell
All examples from basic tutorial works however adding analyser .addAnalyzer(Uniqueness("b"))
Brings the error. (screenshots attached).
Screenshots
![image](https://user-images.githubusercontent.com/43914423/132203050-b36b4c3b-4be9-46a3-b70d-4dca2dceef06.png)

This is working
![image](https://user-images.githubusercontent.com/43914423/132203098-be22decc-f1c3-45da-ab7e-8ddc08ee543c.png)
**This is not working**
![image](https://user-images.githubusercontent.com/43914423/132203153-0b790ab7-2d1f-4895-978e-4603679e1f8b.png)

**Error:**
Py4JError: An error occurred while calling z:scala.collection.JavaConversions.iterableAsScalaIterable. Trace:
py4j.Py4JException: Method iterableAsScalaIterable([class java.lang.String]) does not exist
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
at py4j.Gateway.invoke(Gateway.java:276)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)

Additional context
Tried a lot of deequ jar options but this deequ-1.1.0_spark-3.0-scala-2.12.jar worked for all cases except the one described above

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

PySpark シェルから起動した Jupyter セッションで開始し、quickstart の例を再現してから、失敗する呼び出しを切り分けるために Uniqueness("b") を追加します。動作する analyzer と失敗するパス、および deequ-1.1.0_spark-3.0-scala-2.12.jar のセットアップを比較します。Uniqueness が iterableAsScalaIterable の Py4J エラーなしで実行されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
jupyter-notebook, python, scala
領域
data
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
47/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。