AbsaOSS / AbsaOSS/pramen

Add a mode for initial ingestion of event data

Ouverte
#350 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
DE enhancement Pramen-Scala
Langage dominant
Scala
Étoiles
31
Forks
4
Merge moyen
1 j 10 min
PR mergées (30 j)
4

Description

## Background
When an event table is ingested initially, the history can be quite long.
Executing each event date one by one can have a big overhead and execute many queries against the source database.

## Feature
Add a mode for initial ingestion of event data.

## Example
TBD

## Proposed Solution
What we can do is load full table in one go to a temporary directory (cache), and then run pipeline tasks for each date found in the database.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.