awslabs / awslabs/python-deequ
Store incorrect data with a column where all the reasons for the failure
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 826
- Fork
- 158
- Merge trung bình
- 9 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 3
Mô tả
I have a requirement to run Data Quality Test So I am using Amazon python-deequ for this. I am able to find the Data Quality Success/Failure Status, but next I want to get all the rows that failed with a column where all the reasons for the failure are logged and Store into another DataFrame/Hive Table.
Thanks
Hướng dẫn đóng góp
Hướng nghiên cứu
Issue không xác định tệp, test hoặc entry point nào. Hãy bắt đầu bằng việc xác định Python API liên quan đến kết quả kiểm tra chất lượng dữ liệu và xác định xem các dòng không đạt cùng lý do lỗi có được cung cấp hay không; hoàn thành nghĩa là trả về các dòng đó cùng một cột lý do và có thể lưu chúng vào một DataFrame khác hoặc bảng Hive.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- data-engineering, databases
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Ít trao đổi
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 35/100