AbsaOSS / AbsaOSS/spline

Partition level lineage tracking

Offen
#22 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
feature
Vorherrschende Sprache
Scala
Sterne
667
Forks
155
Ø Merge
3 T. 6 Std.
Gemergte PRs (30 T.)
4

Beschreibung

When appending data to an existing data source Spark creates a new partition. Even though appended partitions should have the same schema the way how the data was computed (the lineage) could be different for every partition. Tracking lineage information at a partition level is useful for cases when partitions are subsequently read separately. So the derived lineage could be tracked more precisely by avoiding tracking the lineage of the partitions that were not actually used for subsequent computation.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.