awslabs / awslabs/python-deequ
External Json interface to define constraints
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
**Is your feature request related to a problem? Please describe.**
The library provides excellent capabilty to run data quality rules at scale
However it would be great if the caller could define all the constraints in an external json to decouple the actual rules from the code
**Describe the solution you'd like**
Provide an interface to provide a json of multiple constraints that could be applied to datasets
**Describe alternatives you've considered**
At this stage tge proposed feature is still high level
**Additional context**
Providing a further abstraction of maintaining the dq rules will enable a more wider audience to create them and increase usage
Beitragsleitfaden
Rechercherichtung
Beginne damit, die bestehende Python API für Datenqualitätsregeln sowie die Art und Weise zu überprüfen, wie Einschränkungen derzeit für Datasets definiert und angewendet werden. Kläre vor der Implementierung das JSON-Schema und die Schnittstelle für mehrere Einschränkungen; fertig ist die Aufgabe, wenn Aufrufer externe JSON-Regeln bereitstellen können, die erfolgreich angewendet werden, ohne sie in den Code einzubetten.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100