Flinkx读取mysql中途失败,任务却显示成功
- Lingua principale
- Java
- Stelle
- 4.1k
- Fork
- 1.7k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
1.我们的mysql可能有问题(我们还在排查mysql的问题)
2.我们使用mysql to mysql 进行数据同步
3.在yarn上,任务显示正常,但是sink端数据条数和source端数据条数不一致
4.然后用local模式,测试mysql to mysql 发现异常

5.然后我排查flinkx代码发现有个bug,在执行next发生异常时,默认已经把source读取完成了,没有数据可以读取了。然后导致任务成功了。


**效果就是mysql source发生了异常,但是还是导致flinkx任务成功了**
6.我们的修改如下

Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia riproducendo il job MySQL-to-MySQL in modalità locale e ispeziona il codice del source reader attorno alla successiva operazione mostrata negli screenshot dell’issue. Traccia come viene gestita quell’eccezione e come viene segnalato il completamento della source. Il lavoro è completato quando un errore di lettura lato source si propaga a Flinkx e il task viene segnalato come fallito, così che i conteggi di source e sink non divergano più silenziosamente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java, mysql
- Ambito
- data-engineering, distributed-systems
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100