awslabs / awslabs/python-deequ
Data freshness metric
クローズ
enhancement
- 主要言語
- Jupyter Notebook
- スター
- 826
- フォーク
- 158
- 平均マージ
- 9日 22時間
- マージ済み PR(30日)
- 3
説明
**Is your feature request related to a problem? Please describe.**
I did not find Data freshness metric in the list of Analyzers. We would need this to verify we have the latest data
**Describe the solution you'd like**
An analyzer in deequ and pydeequ that can check data for staleness by days, hours, minutes
**Describe alternatives you've considered**
Considered using Python code to determine freshness but its probably more optimized in deequ (Scala)
コントリビューションガイド
調査の方向性
Deequ と pyDeequ に存在する analyzer を確認し、まず analyzer の入力と時間ベースのチェックがどのように表現されているかを調べます。freshness のしきい値が日、時間、分にわたってどのように機能すべきかを確認し、その結果を代表的なデータのタイムスタンプに対して検証します。両方の API でデータの陳腐化を一貫して検出できれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, scala
- 領域
- data-engineering
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 活発
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 35/100