awslabs / awslabs/python-deequ

External Json interface to define constraints

Offen
#103 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement feature request help wanted
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Is your feature request related to a problem? Please describe.**
The library provides excellent capabilty to run data quality rules at scale
However it would be great if the caller could define all the constraints in an external json to decouple the actual rules from the code

**Describe the solution you'd like**
Provide an interface to provide a json of multiple constraints that could be applied to datasets

**Describe alternatives you've considered**
At this stage tge proposed feature is still high level

**Additional context**
Providing a further abstraction of maintaining the dq rules will enable a more wider audience to create them and increase usage

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, die bestehende Python API für Datenqualitätsregeln sowie die Art und Weise zu überprüfen, wie Einschränkungen derzeit für Datasets definiert und angewendet werden. Kläre vor der Implementierung das JSON-Schema und die Schnittstelle für mehrere Einschränkungen; fertig ist die Aufgabe, wenn Aufrufer externe JSON-Regeln bereitstellen können, die erfolgreich angewendet werden, ohne sie in den Code einzubetten.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.