AbsaOSS / AbsaOSS/spline-spark-agent

Azure Cosmos DB write operation support

Abierto
#56 5 comentarios 0 reacciones 0 asignados Ver en GitHub
feature good first issue
Lenguaje dominante
Scala
Estrellas
210
Forks
102
Merge medio
1 d 1 h
PR fusionados (30 d)
1

Descripción

## Background
Spline is not able to track lineage while writing to Azure Cosmos DB

## Feature
Azure Cosmos DB write operation support

## Example
Sample Scala code of write operation to Cosmos DB, that is not able to track lineage

```scala
import com.microsoft.azure.cosmosdb.spark.schema._
import com.microsoft.azure.cosmosdb.spark.CosmosDBSpark
import com.microsoft.azure.cosmosdb.spark.config.Config
import org.apache.spark.sql.SaveMode

val customers_dataset_config_map = Map(
"Endpoint" -> "",
"Masterkey" -> dbutils.secrets.get(scope = "", key = ""),
"Database" -> "",
"Collection" -> "",
"WritingBatchSize" -> "100")

val customers_dataset_config = Config(customers_dataset_config_map)

// Write the output to Azure Cosmos DB
customers_dataset.write.mode(SaveMode.Overwrite).cosmosDB(customers_dataset_config)
```

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.