AbsaOSS / AbsaOSS/spline-spark-agent
Checkpoint lineage support
- Ngôn ngữ chính
- Scala
- Star
- 210
- Fork
- 102
- Merge trung bình
- 1 ngày 1 giờ
- Pull request đã merge (30 ngày)
- 1
Mô tả
code like this, while spline cannot get `Input Data Source`
```python
from pyspark.sql import SparkSession
spark = (SparkSession.builder
.config('spark.sql.queryExecutionListeners', 'za.co.absa.spline.harvester.listener.SplineQueryExecutionListener')
.config('spark.spline.producer.url', 'http://master-1-1:8080/producer')
.enableHiveSupport()
.getOrCreate()
)
def generate_data():
data = [
('a', 1),
('b', 2),
]
df = spark.createDataFrame(data, ['name', 'value'])
df.write.saveAsTable('test.table', mode='overwrite')
def test():
spark.sparkContext.setCheckpointDir('/tmp/checkpoint')
df = spark.table('test.table')
df = df.checkpoint() ## checkpoint
df.write.saveAsTable('test.table2', mode='overwrite')
if __name__ == '__main__':
# generate_data()
test()
```

Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.