Add a mode for initial ingestion of event data
Đang mở
DE
enhancement
Pramen-Scala
- Ngôn ngữ chính
- Scala
- Star
- 31
- Fork
- 4
- Merge trung bình
- 1 ngày 10 phút
- Pull request đã merge (30 ngày)
- 4
Mô tả
## Background
When an event table is ingested initially, the history can be quite long.
Executing each event date one by one can have a big overhead and execute many queries against the source database.
## Feature
Add a mode for initial ingestion of event data.
## Example
TBD
## Proposed Solution
What we can do is load full table in one go to a temporary directory (cache), and then run pipeline tasks for each date found in the database.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.