awslabs / awslabs/python-deequ
Add support for datetime/date datatypes and columns
- 主要言語
- Jupyter Notebook
- スター
- 826
- フォーク
- 158
- 平均マージ
- 9日 22時間
- マージ済み PR(30日)
- 3
説明
**Is your feature request related to a problem? Please describe.**
I would like to run data quality checks such as Maximum() or Minimum() on datetime columns (DateType or Timestamp type in Spark).
**Describe the solution you'd like**
Add support for datetime columns in the API ([ConstrainableDataTypes](https://pydeequ.readthedocs.io/en/latest/pydeequ.html#pydeequ.checks.ConstrainableDataTypes), Analyzers, Profilers).
**Describe alternatives you've considered**
I'm currently converting datetime columns to a numeric datatype (unix_timestamp), but it would be great if we could use the API on the original columns, in order to avoid conversion bugs/issues.
Thanks for considering my request! 🙂
コントリビューションガイド
調査の方向性
ConstrainableDataTypes API から始め、次に issue で言及されている Analyzers と Profilers を調査して、数値列が現在どのように処理されているかを追跡します。Maximum() と Minimum() を含め、Spark DateType 列および Timestamp 列で期待される動作を確認します。unix_timestamp 変換なしで元の datetime 列に対してこれらのチェックが機能すれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, spark
- 領域
- data
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 45/100