awslabs / awslabs/python-deequ

Add support for datetime/date datatypes and columns

オープン
#82 コメント 2 件 リアクション 2 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Jupyter Notebook
スター
826
フォーク
158
平均マージ
9日 22時間
マージ済み PR(30日)
3

説明

**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).

**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).

**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.

Thanks for considering my request! 🙂

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

ConstrainableDataTypes API から始め、次に issue で言及されている Analyzers と Profilers を調査して、数値列が現在どのように処理されているかを追跡します。Maximum() と Minimum() を含め、Spark DateType 列および Timestamp 列で期待される動作を確認します。unix_timestamp 変換なしで元の datetime 列に対してこれらのチェックが機能すれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, spark
領域
data
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。