awslabs / awslabs/python-deequ

Retrieving indication of failed metrics

Aperta
#109 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
enhancement feature request
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Is your feature request related to a problem? Please describe.**
I have a process that computes data metrics using deequ. I noticed that when a spark job computing these metrics fails, they are stored as failed metrics in the AnalyzerContext Scala object. However, the only API I seem to find for retrieving the result metrics is `successMetricsAsDataFrame `or `successMetricsAsJson` which both call the Scala APIs that filter out the failed metrics. This means that I have no simple way of finding out if metrics failed due to Spark job failure in order to rerun it or investigate the reasons for the failure.

**Describe the solution you'd like**
Ideally a translation of the metric map in AnalyzerContext into a python object. This would also solve the failed metric problem and also I won't have to manually parse the results from the dataframe in order to save them in the format I would like to. Another possibility would be to add a `allMetrics` getter to the API.

**Additional context**
[The python AnalyzerContext object](https://github.com/awslabs/python-deequ/blob/7ec9f6f72839779f370a4753c0db26d6cf052203/pydeequ/analyzers.py#L55)

[The scala AnalyzerContext object](https://github.com/awslabs/deequ/blob/933417676189bc7833166f976fd024a4b2177292/src/main/scala/com/amazon/deequ/analyzers/runners/AnalyzerContext.scala#L48)

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dal punto di ingresso Python AnalyzerContext in pydeequ/analyzers.py, intorno alla riga 55, quindi confrontalo con l’AnalyzerContext Scala collegato. Traccia il modo in cui successMetricsAsDataFrame e successMetricsAsJson filtrano la mappa delle metriche. Il lavoro è completato quando i chiamanti Python possono esaminare le metriche non riuscite di un contesto completato, inclusi i fallimenti causati dai job Spark, senza dover analizzare manualmente l’output contenente solo i successi.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, scala, spark
Ambito
api, data-engineering
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
48/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.