awslabs / awslabs/python-deequ
Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns
オープン
bug
- 主要言語
- Jupyter Notebook
- スター
- 826
- フォーク
- 158
- 平均マージ
- 9日 22時間
- マージ済み PR(30日)
- 3
説明
**Describe the bug**
When i pass the df to ColumnProfilerRunner and the column has a dot e.g: `Data.Id` the following error appears:
"Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: "org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns"
The call:
result = ColumnProfilerRunner(spark) \
.onData(df) \
.run()
コントリビューションガイド
調査の方向性
まず、Data.Id という名前の列を含む DataFrame で ColumnProfilerRunner を使って失敗を再現し、その後、Python API の経路をたどって Spark の分析エラーまで追跡します。ドットを含む列名で AnalysisException が発生せずにプロファイリングが成功すれば完了です。payload には実行するファイルやテストの指定はありません。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, spark
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 38/100