AbsaOSS / AbsaOSS/pramen

Add timeout based on expected execution time of JDBC ingestion

オープン
#732 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Scala
スター
31
フォーク
4
平均マージ
1日 10分
マージ済み PR(30日)
4

説明

## Background
Sometime JDBC connections hang when running Pramen ingestion job.
It can result 1000 records from a DB to be loaded in hours.

## Feature
Add timeout based on expected execution time of JDBC ingestion.

## Example [Optional]
A simple example if applicable.

## Proposed Solution [Optional]
Define minimum execution time for JDBC insertions (even for 1 record), say 10 minutes by default.
Define minimum throughput, say 10 records per second by default.

When the record count is known in advance set the timeout based on above parameters.

Should the ingestion be restarted, or just stopped when the timer has expired - to be decided

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。