AbsaOSS / AbsaOSS/pramen

Add timeout based on expected execution time of JDBC ingestion

Aberta
#732 0 comentários 0 reações 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Scala
Estrelas
31
Forks
4
Merge médio
1d 10min
PRs com merge (30d)
4

Descrição

## Background
Sometime JDBC connections hang when running Pramen ingestion job.
It can result 1000 records from a DB to be loaded in hours.

## Feature
Add timeout based on expected execution time of JDBC ingestion.

## Example [Optional]
A simple example if applicable.

## Proposed Solution [Optional]
Define minimum execution time for JDBC insertions (even for 1 record), say 10 minutes by default.
Define minimum throughput, say 10 records per second by default.

When the record count is known in advance set the timeout based on above parameters.

Should the ingestion be restarted, or just stopped when the timer has expired - to be decided

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.