是否可以在每同步一条数据的时候及时更新reader里的一个标志字段或记录下来统一更新Reader表的字段
Open
- Dominant language
- Java
- Stars
- 17.4k
- Forks
- 5.7k
- PR merge metrics
- No merged PRs in 30d
Description
因为各种原因,很难严格控制id的脏数据发生,所以打算采用回写字段的形式实现。
那么问题就是两种方案
1. 每同步一条数据的时候及时更新reader里的一个标志字段
2. 记录下来每个同步成功的记录的主键,统一更新Reader表的字段
第二种方法性能比较好,但是即使是第一种,datax也没有可以设置的地方。
不知道官方是否打算实现这种功能?
Contributor guide
No contributing guide indexed for this repository
Research direction
The issue names no files, tests, or entry points. Start by tracing DataX's record-synchronization success handling and Reader table updates, then clarify whether per-record or batched write-back is required; done means an agreed behavior, configuration path, and validation of correctness and performance.
Written by the indexing model from the issue text.
Assessment
- Tech stack
- java
- Domain
- data-engineering, databases
- Issue type
- Feature
- Difficulty
- 5/5
- Estimated time
- Over a week
- Activity status
- Stale
- Clarity
- Needs clarification
- Newbie friendliness
- 25/100