AbsaOSS / AbsaOSS/pramen

Add a mode for initial ingestion of event data

Aperta
#350 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
DE enhancement Pramen-Scala
Lingua principale
Scala
Stelle
31
Fork
4
Merge medio
1g 10m
PR unite (30g)
4

Descrizione

## Background
When an event table is ingested initially, the history can be quite long.
Executing each event date one by one can have a big overhead and execute many queries against the source database.

## Feature
Add a mode for initial ingestion of event data.

## Example
TBD

## Proposed Solution
What we can do is load full table in one go to a temporary directory (cache), and then run pipeline tasks for each date found in the database.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.