AbsaOSS / AbsaOSS/pramen

Add a mode for initial ingestion of event data

オープン
#350 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
DE enhancement Pramen-Scala
主要言語
Scala
スター
31
フォーク
4
平均マージ
1日 10分
マージ済み PR(30日)
4

説明

## Background
When an event table is ingested initially, the history can be quite long.
Executing each event date one by one can have a big overhead and execute many queries against the source database.

## Feature
Add a mode for initial ingestion of event data.

## Example
TBD

## Proposed Solution
What we can do is load full table in one go to a temporary directory (cache), and then run pipeline tasks for each date found in the database.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。