awslabs / awslabs/python-deequ
Store incorrect data with a column where all the reasons for the failure
オープン
enhancement
question
- 主要言語
- Jupyter Notebook
- スター
- 826
- フォーク
- 158
- 平均マージ
- 9日 22時間
- マージ済み PR(30日)
- 3
説明
I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks
コントリビューションガイド
調査の方向性
issue にはファイル、テスト、エントリポイントが特定されていません。まず、データ品質チェックの結果を扱う Python API の周辺を特定し、失敗した行と失敗理由が公開されているかを確認してください。完了条件は、それらの行が理由列付きで返され、別の DataFrame または Hive テーブルに保存できることです。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- data-engineering, databases
- issue の種類
- 機能追加
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 静か
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 35/100