awslabs / awslabs/python-deequ

Data freshness metric

クローズ
#205 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Jupyter Notebook
スター
826
フォーク
158
平均マージ
9日 22時間
マージ済み PR(30日)
3

説明

**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data

**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes

**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Deequ と pyDeequ に存在する analyzer を確認し、まず analyzer の入力と時間ベースのチェックがどのように表現されているかを調べます。freshness のしきい値が日、時間、分にわたってどのように機能すべきかを確認し、その結果を代表的なデータのタイムスタンプに対して検証します。両方の API でデータの陳腐化を一貫して検出できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, scala
領域
data-engineering
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。