awslabs / awslabs/python-deequ

FileSystemMetricsRepository file to be a parquet (/ delta)

Offen
#185 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement feature request
Vorherrschende Sprache
Jupyter Notebook
Sterne
826
Forks
158
Ø Merge
9 T. 22 Std.
Gemergte PRs (30 T.)
3

Beschreibung

**Is your feature request related to a problem? Please describe.**
We run thousands of anomalies validations on hundreds of data sources. We often want to explain why they fail. To do so - first step is to look at the underlying metrics - persisted in PyDeeQu managed json. Processing json in spark environment is not efficient (both programmatically and not).

**Describe the solution you'd like**
One way to provide explanations for failed anomalies is to expose json repository file underlying FileSystemMetricsRepository to analytical user. Since PyDeeQu is a PySpark framework the best and natural choice is to store repository data as .parquet/delta files instead of json. This could also cover:

- Enable anomalies explainability by enabling live metrics repository table
- Establishing data contract for repository (currently PyDeeQu json repository does not really assume a schema)

**Describe alternatives you've considered**
Consider DELTA format - probably way batter choice but requires more development to enable incremental processing and rollbacks.

**Additional context**
Would also be good to know why .json format was a chosen? And is there any way we can benefit from this choice?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, FileSystemMetricsRepository zu lokalisieren und nachzuverfolgen, wie sein von PyDeeQu verwaltetes JSON-Repository im PySpark-Framework geschrieben und verwendet wird. Vergleiche die Anforderungen an die Speicherung in Parquet und Delta, einschließlich eines definierten Repository-Schemas, des Zugriffs auf Live-Metriken, der inkrementellen Verarbeitung und der Unterstützung von Rollbacks; abgeschlossen ist die Aufgabe, wenn das gewählte Format diese Ziele unterstützt und das Verhalten des bestehenden Repositorys weiterhin berücksichtigt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, spark
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.