AbsaOSS / AbsaOSS/spline-spark-agent

Checkpoint lineage support

Aperta
#546 1 commento 2 reazioni 0 assegnatari Vedi su GitHub
feature investigating
Lingua principale
Scala
Stelle
210
Fork
102
Merge medio
1g 1h
PR unite (30g)
1

Descrizione

code like this, while spline cannot get `Input Data Source`
```python
from pyspark.sql import SparkSession

spark = (SparkSession.builder
.config('spark.sql.queryExecutionListeners', 'za.co.absa.spline.harvester.listener.SplineQueryExecutionListener')
.config('spark.spline.producer.url', 'http://master-1-1:8080/producer')
.enableHiveSupport()
.getOrCreate()
)

def generate_data():
data = [
('a', 1),
('b', 2),
]

df = spark.createDataFrame(data, ['name', 'value'])
df.write.saveAsTable('test.table', mode='overwrite')

def test():
spark.sparkContext.setCheckpointDir('/tmp/checkpoint')
df = spark.table('test.table')
df = df.checkpoint() ## checkpoint
df.write.saveAsTable('test.table2', mode='overwrite')

if __name__ == '__main__':
# generate_data()
test()
```

![image](https://user-images.githubusercontent.com/6837297/204981487-83549f57-d4ee-4411-96ac-58a494c159af.png)

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.