awslabs / awslabs/python-deequ
Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: org.apache.spark.sql.AnalysisException: cannot resolve '`Data.Id`' given input columns
Personne n'a encore pris cette issue.
- Langage dominant
- Jupyter Notebook
- Étoiles
- 826
- Forks
- 158
- Merge moyen
- 9 j 22 h
- PR mergées (30 j)
- 3
Description
Describe the bug
When i pass the df to ColumnProfilerRunner and the column has a dot e.g: Data.Id the following error appears:
"Error using com.amazon.deequ.analyzers.runners.MetricCalculationRuntimeException: "org.apache.spark.sql.AnalysisException: cannot resolve 'Data.Id' given input columns"
The call:
result = ColumnProfilerRunner(spark)
.onData(df)
.run()
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Commencez par reproduire l’échec avec ColumnProfilerRunner sur un DataFrame contenant une colonne nommée Data.Id, puis suivez le chemin de la Python API jusqu’à l’erreur d’analyse de Spark. C’est terminé lorsque le profiling réussit pour les noms de colonnes contenant des points sans l’AnalysisException ; le payload n’indique aucun fichier ni test à exécuter.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, spark
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- Calme
- Clarté
- À clarifier
- Accessibilité débutants
- 38/100