awslabs / awslabs/python-deequ

Please add RowLevelSchemaValidator support

Aperta
#204 1 commento 3 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Jupyter Notebook
Stelle
826
Fork
158
Merge medio
9g 22h
PR unite (30g)
3

Descrizione

**Is your feature request related to a problem? Please describe.**

Knowing which rows pass and which fail is important. The "RowLevelSchemaValidator" has been in deequ for years; is there plans on creating python bindings?

**Describe the solution you'd like**

Access to RowLevelSchemaValidator via python.

**Describe alternatives you've considered**

Using spark to find nulls, out of bound numbers, too large/small strings, etc... is double work. Right now all we can tell is a pass/fail on an entire dataframe. More granular info is needed.

**Additional context**

Being able to run validations like the unit tests would be wonderful : https://github.com/awslabs/deequ/blob/49e970ce9a8bda5e779602d2981379b65c12ba30/src/test/scala/com/amazon/deequ/schema/RowLevelSchemaValidatorTest.scala

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dal test Deequ indicato, src/test/scala/com/amazon/deequ/schema/RowLevelSchemaValidatorTest.scala, per comprendere il comportamento previsto della validazione a livello di riga. Poi esamina l’API Python esistente e i relativi binding di validazione; il lavoro è completo quando i chiamanti Python possono accedere a risultati equivalenti di RowLevelSchemaValidator, invece di ricevere soltanto informazioni di superamento o fallimento a livello di dataframe.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, scala, spark
Ambito
data-engineering
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.