awslabs / awslabs/python-deequ

Store incorrect data with a column where all the reasons for the failure

Đang mở
#83 2 bình luận 1 reaction 0 người được giao Xem trên GitHub
enhancement question
Ngôn ngữ chính
Jupyter Notebook
Star
826
Fork
158
Merge trung bình
9 ngày 22 giờ
Pull request đã merge (30 ngày)
3

Mô tả

I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Issue không xác định tệp, test hoặc entry point nào. Hãy bắt đầu bằng việc xác định Python API liên quan đến kết quả kiểm tra chất lượng dữ liệu và xác định xem các dòng không đạt cùng lý do lỗi có được cung cấp hay không; hoàn thành nghĩa là trả về các dòng đó cùng một cột lý do và có thể lưu chúng vào một DataFrame khác hoặc bảng Hive.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
data-engineering, databases
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.