AbsaOSS / AbsaOSS/spline-spark-agent

Checkpoint lineage support

Abierto
#546 1 comentario 2 reacciones 0 asignados Ver en GitHub
feature investigating
Lenguaje dominante
Scala
Estrellas
210
Forks
102
Merge medio
1 d 1 h
PR fusionados (30 d)
1

Descripción

code like this, while spline cannot get `Input Data Source`
```python
from pyspark.sql import SparkSession

spark = (SparkSession.builder
.config('spark.sql.queryExecutionListeners', 'za.co.absa.spline.harvester.listener.SplineQueryExecutionListener')
.config('spark.spline.producer.url', 'http://master-1-1:8080/producer')
.enableHiveSupport()
.getOrCreate()
)

def generate_data():
data = [
('a', 1),
('b', 2),
]

df = spark.createDataFrame(data, ['name', 'value'])
df.write.saveAsTable('test.table', mode='overwrite')

def test():
spark.sparkContext.setCheckpointDir('/tmp/checkpoint')
df = spark.table('test.table')
df = df.checkpoint() ## checkpoint
df.write.saveAsTable('test.table2', mode='overwrite')

if __name__ == '__main__':
# generate_data()
test()
```

![image](https://user-images.githubusercontent.com/6837297/204981487-83549f57-d4ee-4411-96ac-58a494c159af.png)

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.