AbsaOSS / AbsaOSS/spline-spark-agent

Spline support for expand operation

Offen
#814 0 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen
feature
Vorherrschende Sprache
Scala
Sterne
210
Forks
102
Ø Merge
1 T. 1 Std.
Gemergte PRs (30 T.)
1

Beschreibung

## Background

The Spline agent does not support column-level lineage tracking in expand operations. So, if my sql contains "grouping", or "with cube", the column lineage will be lost after expand.
## Feature

Add OperationNodeBuilder to deal with spark expand operation.

## Example [Optional]

![image](https://user-images.githubusercontent.com/8408505/233048088-fc85180a-18f1-43a7-a9ce-fe093d248cab.png)

## Proposed Solution [Optional]

Solution Ideas

1. I add a ExpandNodeBuilder class in package za.co.absa.spline.harvester.builder.plan, which has almost the same code as UnionNodeBuilder
2. I modified the class OperationNodeBuilderFactory, to deal with expand operators.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.