AbsaOSS / AbsaOSS/spline-spark-agent

Azure Cosmos DB write operation support

Aperta
#56 5 commenti 0 reazioni 0 assegnatari Vedi su GitHub
feature good first issue
Lingua principale
Scala
Stelle
210
Fork
102
Merge medio
1g 1h
PR unite (30g)
1

Descrizione

## Background
Spline is not able to track lineage while writing to Azure Cosmos DB

## Feature
Azure Cosmos DB write operation support

## Example
Sample Scala code of write operation to Cosmos DB, that is not able to track lineage

```scala
import com.microsoft.azure.cosmosdb.spark.schema._
import com.microsoft.azure.cosmosdb.spark.CosmosDBSpark
import com.microsoft.azure.cosmosdb.spark.config.Config
import org.apache.spark.sql.SaveMode

val customers_dataset_config_map = Map(
"Endpoint" -> "",
"Masterkey" -> dbutils.secrets.get(scope = "", key = ""),
"Database" -> "",
"Collection" -> "",
"WritingBatchSize" -> "100")

val customers_dataset_config = Config(customers_dataset_config_map)

// Write the output to Azure Cosmos DB
customers_dataset.write.mode(SaveMode.Overwrite).cosmosDB(customers_dataset_config)
```

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.