awslabs / awslabs/python-deequ
FileSystemMetricsRepository file to be a parquet (/ delta)
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 826
- Forks
- 158
- Ø Merge
- 9 T. 22 Std.
- Gemergte PRs (30 T.)
- 3
Beschreibung
**Is your feature request related to a problem? Please describe.**
We run thousands of anomalies validations on hundreds of data sources. We often want to explain why they fail. To do so - first step is to look at the underlying metrics - persisted in PyDeeQu managed json. Processing json in spark environment is not efficient (both programmatically and not).
**Describe the solution you'd like**
One way to provide explanations for failed anomalies is to expose json repository file underlying FileSystemMetricsRepository to analytical user. Since PyDeeQu is a PySpark framework the best and natural choice is to store repository data as .parquet/delta files instead of json. This could also cover:
- Enable anomalies explainability by enabling live metrics repository table
- Establishing data contract for repository (currently PyDeeQu json repository does not really assume a schema)
**Describe alternatives you've considered**
Consider DELTA format - probably way batter choice but requires more development to enable incremental processing and rollbacks.
**Additional context**
Would also be good to know why .json format was a chosen? And is there any way we can benefit from this choice?
Beitragsleitfaden
Rechercherichtung
Beginne damit, FileSystemMetricsRepository zu lokalisieren und nachzuverfolgen, wie sein von PyDeeQu verwaltetes JSON-Repository im PySpark-Framework geschrieben und verwendet wird. Vergleiche die Anforderungen an die Speicherung in Parquet und Delta, einschließlich eines definierten Repository-Schemas, des Zugriffs auf Live-Metriken, der inkrementellen Verarbeitung und der Unterstützung von Rollbacks; abgeschlossen ist die Aufgabe, wenn das gewählte Format diese Ziele unterstützt und das Verhalten des bestehenden Repositorys weiterhin berücksichtigt wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, spark
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100