AbsaOSS / AbsaOSS/pramen

Add an option to not track late data for a table

オープン
#282 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement Pramen-Scala
主要言語
Scala
スター
31
フォーク
4
平均マージ
1日 10分
マージ済み PR(30日)
4

説明

## Background
When ingestion happens from an operation database in snapshot mode (no event/info dates), and the database was unavailable for a specific date, it might not make sense to load that data with previous information date since the new data with thew new information date is going to be loaded anyway, and it is going to have the same contents.

## Feature
Add an option to not track late data for a table.

## Example
```hocon
pramen.metastore {
tables = [
{
name = "table_name"
# ...

# If true, Pramen will try loading all previous partition/info dates
# If false, Pramen won't try filling gaps, will just load data to the current partition/information date
track.late.data = false
}
]
```

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。