AbsaOSS / AbsaOSS/pramen

Add timeout based on expected execution time of JDBC ingestion

Đang mở
#732 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
enhancement
Ngôn ngữ chính
Scala
Star
31
Fork
4
Merge trung bình
1 ngày 10 phút
Pull request đã merge (30 ngày)
4

Mô tả

## Background
Sometime JDBC connections hang when running Pramen ingestion job.
It can result 1000 records from a DB to be loaded in hours.

## Feature
Add timeout based on expected execution time of JDBC ingestion.

## Example [Optional]
A simple example if applicable.

## Proposed Solution [Optional]
Define minimum execution time for JDBC insertions (even for 1 record), say 10 minutes by default.
Define minimum throughput, say 10 records per second by default.

When the record count is known in advance set the timeout based on above parameters.

Should the ingestion be restarted, or just stopped when the timer has expired - to be decided

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.