DTStack / DTStack/chunjun

数据需要从mogodb同步到Elasticsearch6.x,是否支持mogodb新增数据读取以及数据写入es中判断数据是否已经存在则删除呢

Open
#928 0 comments 0 reactions 0 assignees View on GitHub
Dominant language
Java
Stars
4.1k
Forks
1.7k
PR merge metrics
No merged PRs in 30d

Description

场景是这样的:
需要将业务数据从mogodb同步到Elasticsearch中,mogodb中会不断地有数据新增,并且mogodb会存在更新旧数据的场景,更新的方式是将mogodb中旧数据删除,插入新数据的方式完成更新

所有有两个问题想请教一下
1,同步任务执行完成后,任务是否就结束不在同步了?还是说同步任务会处在等待状态,当mogodb有新的数据产生时,会将新数据继续同步过去?
2,因为使用mogodb更新数据的方式是通过删除旧数据插入新数据的方式来更新数据,那么数据同步到es的时候,也需要通过相同的方式来完成数据的更新,不知道是否支持这样的操作呢?

期待回复,感谢

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.