apache / apache/hudi

GDPR: Support deletions of records on all versions of Hudi dataset

Đang mở
#14,653 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
area:table-service from-jira priority:high type:improvement
Ngôn ngữ chính
Java
Star
6.2k
Fork
2.5k
Merge trung bình
2 ngày 2 giờ
Pull request đã merge (30 ngày)
116

Mô tả

Incremental Pull should also stop returning the record on historical  datset when we delete them from latest snapshot.

 

Context from Mailing list email :

 

Hello,

I am Siva's colleague and I am working on the problem below as well.

I would like to describe what we are trying to achieve with Hudi as well as our current way of working and our GDPR and "Right To Be Forgotten " compliance policies.

Our requirements :
- We wish to apply a strict interpretation of the RTBF.  In other words, when we remove a person's data, it should be throughout the historical data and not just the latest snapshot.
- We wish to use Hudi to reduce our storage requirements using upserts and don't want to have duplicates between commits.
- We wish to retain history for persons who have not requested to be forgotten and therefore we do not want to delete commit files from the history as some have proposed.

We have tried a couple of solutions, but so far without success :
- replay the data omitting the data of the persons who have requested to be forgotten.  We wanted to manipulate the commit times to rebuild the history.
We found that we couldn't manipulate the commit times and retain the history.

- replay the data omitting the data of the persons who have requested to be forgotten, but writing to a date-based partition folder using the "partitionpath" parameter.
We found that commits using upserts between the partitionpath folders, do not ignore data that is unchanged between 2 commit dates as when using the default commit file system, so we will not save on our storage or speed up our  processing using this technique.

So basically we would like to find a way to apply a strict RTBF, GDPR, maintain history and time-travel (large history) and save storage space using Hudi.

Can anyone see a way to achieve this?

Kind Regards,
David Rosalia

 

 

## JIRA info

- Link: https://issues.apache.org/jira/browse/HUDI-1212
- Type: Improvement
- Affects version(s):
- 0.9.0

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Issue không nêu các tệp nguồn, test hoặc điểm bắt đầu của mã. Hãy bắt đầu bằng cách lần theo hành vi incremental pull của Hudi đối với các dataset lịch sử và làm rõ cách các bản ghi bị xóa khỏi snapshot mới nhất được biểu diễn. Công việc được hoàn tất khi các bản ghi đã xóa không được trả về trong dữ liệu lịch sử, trong khi lịch sử không liên quan và Time-Travel vẫn có thể được sử dụng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.