awslabs / awslabs/python-deequ
Store incorrect data with a column where all the reasons for the failure
- Lingua principale
- Jupyter Notebook
- Stelle
- 826
- Fork
- 158
- Merge medio
- 9g 22h
- PR unite (30g)
- 3
Descrizione
I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Nell’issue non sono identificati file, test o punti di ingresso. Inizia individuando la Python API relativa ai risultati dei controlli di qualità dei dati e determina se vengono esposte le righe non riuscite e i motivi dell’errore; il lavoro è completato quando tali righe vengono restituite con una colonna del motivo e possono essere archiviate in un altro DataFrame o in una tabella Hive.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- data-engineering, databases
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100