Add a mode for initial ingestion of event data
オープン
DE
enhancement
Pramen-Scala
- 主要言語
- Scala
- スター
- 31
- フォーク
- 4
- 平均マージ
- 1日 10分
- マージ済み PR(30日)
- 4
説明
## Background
When an event table is ingested initially, the history can be quite long.
Executing each event date one by one can have a big overhead and execute many queries against the source database.
## Feature
Add a mode for initial ingestion of event data.
## Example
TBD
## Proposed Solution
What we can do is load full table in one go to a temporary directory (cache), and then run pipeline tasks for each date found in the database.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。