awslabs / awslabs/python-deequ

Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns

オープン
#77 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug
主要言語
Jupyter Notebook
スター
826
フォーク
158
平均マージ
9日 22時間
マージ済み PR(30日)
3

説明

**Describe the bug**
When i pass the df to ColumnProfilerRunner and the column has a dot e.g: `Data.Id` the following error appears:

"Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: "org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns"

The call:
result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず、Data.Id という名前の列を含む DataFrame で ColumnProfilerRunner を使って失敗を再現し、その後、Python API の経路をたどって Spark の分析エラーまで追跡します。ドットを含む列名で AnalysisException が発生せずにプロファイリングが成功すれば完了です。payload には実行するファイルやテストの指定はありません。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, spark
領域
data-engineering
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
静か
明瞭さ
説明が足りない
初心者へのやさしさ
38/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。