AbsaOSS / AbsaOSS/spline-spark-agent

Databricks - Support of Delta live tables

オープン
#813 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
help wanted
主要言語
Scala
スター
210
フォーク
102
平均マージ
1日 1時間
マージ済み PR(30日)
1

説明

I have a case of using delta live tables that runs SQL notebooks.

I cannot add cell of python
`sc._jvm.za.co.absa.spline.harvester.SparkLineageInitializer.enableLineageTracking(spark._jsparkSession)`
since DLT doesn't support magic like `%python`
So I created a separate notebook of python - but still fails - although the spline Jar is installed on the cluster
I think that because DLT manages dynamically the clusters - I think that all the installation of jars on the cluster take no effect.

## Question
Does someone has experience using spline in Databricks in DLT?

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。