AbsaOSS / AbsaOSS/spline-spark-agent

Spline support for expand operation

オープン
#814 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る
feature
主要言語
Scala
スター
210
フォーク
102
平均マージ
1日 1時間
マージ済み PR(30日)
1

説明

## Background

The Spline agent does not support column-level lineage tracking in expand operations. So, if my sql contains "grouping", or "with cube", the column lineage will be lost after expand.
## Feature

Add OperationNodeBuilder to deal with spark expand operation.

## Example [Optional]

![image](https://user-images.githubusercontent.com/8408505/233048088-fc85180a-18f1-43a7-a9ce-fe093d248cab.png)

## Proposed Solution [Optional]

Solution Ideas

1. I add a ExpandNodeBuilder class in package za.co.absa.spline.harvester.builder.plan, which has almost the same code as UnionNodeBuilder
2. I modified the class OperationNodeBuilderFactory, to deal with expand operators.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。