AbsaOSS / AbsaOSS/spline-spark-agent

UDF lineage?

オープン
#181 コメント 1 件 リアクション 0 件 担当者 1 名 @cerveada が担当を希望しています GitHub で見る
feature
主要言語
Scala
スター
210
フォーク
102
平均マージ
1日 1時間
マージ済み PR(30日)
1

説明

To be investigated.

> a few points to note from our experiences at Kensu Inc.
>
> you might want consider a few interesting special cases when part of lineage maybe need to be provided semi-manually, e.g.:
> - semi-manual lineage for UDFs, UDF can be matched by `ScalaUDF.function.getClass.getName`:
> - extra UDF inputs that are local files (e.g. H2O predict via spark pipelines)
> - optional annotations for lineage inside UDF if needed, e.g. by default lineage assumes that all input fields of UDF are connected to the output of UDF, but this might be manually clarified
> - making easy to plug-in extra semi-manual/programmable lineage to connect with the external world the parts of plan that may be unresolved by default implementation, e.g. H2O contains `H2OFrameRelation extends BaseRelation with TableScan` which accesses remote H2oFrame not seen by spark directly
> - same above points applies to RDDs
>
> also making easier to customize stuff if needed: avoid private/final methods would be great.
>
> finally, probably some special care needed for struct fields support.
>

_Originally posted by @vidma in https://github.com/AbsaOSS/spline/issues/114#issuecomment-705439880_

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。