awslabs / awslabs/python-deequ
Deequ error for Uniqueness analyzer (iterableAsScalaIterable)
- 主要言語
- Jupyter Notebook
- スター
- 826
- フォーク
- 158
- 平均マージ
- 9日 22時間
- マージ済み PR(30日)
- 3
説明
Describe the bug
Trying few example from pydeequ quickstart. When trying to compute Uniqueness facing java exception 'Method iterableAsScalaIterable([class java.lang.String]) does not exist'
To Reproduce
Steps to reproduce the behaviour:
Start Jupyter from Pyspark shell
All examples from basic tutorial works however adding analyser .addAnalyzer(Uniqueness("b"))
Brings the error. (screenshots attached).
Screenshots

This is working

**This is not working**

**Error:**
Py4JError: An error occurred while calling z:scala.collection.JavaConversions.iterableAsScalaIterable. Trace:
py4j.Py4JException: Method iterableAsScalaIterable([class java.lang.String]) does not exist
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:339)
at py4j.Gateway.invoke(Gateway.java:276)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
Additional context
Tried a lot of deequ jar options but this deequ-1.1.0_spark-3.0-scala-2.12.jar worked for all cases except the one described above
コントリビューションガイド
調査の方向性
PySpark シェルから起動した Jupyter セッションで開始し、quickstart の例を再現してから、失敗する呼び出しを切り分けるために Uniqueness("b") を追加します。動作する analyzer と失敗するパス、および deequ-1.1.0_spark-3.0-scala-2.12.jar のセットアップを比較します。Uniqueness が iterableAsScalaIterable の Py4J エラーなしで実行されれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- jupyter-notebook, python, scala
- 領域
- data
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 47/100