AbsaOSS / AbsaOSS/spline-spark-agent
Azure Cosmos DB write operation support
- Ngôn ngữ chính
- Scala
- Star
- 210
- Fork
- 102
- Merge trung bình
- 1 ngày 1 giờ
- Pull request đã merge (30 ngày)
- 1
Mô tả
## Background
Spline is not able to track lineage while writing to Azure Cosmos DB
## Feature
Azure Cosmos DB write operation support
## Example
Sample Scala code of write operation to Cosmos DB, that is not able to track lineage
```scala
import com.microsoft.azure.cosmosdb.spark.schema._
import com.microsoft.azure.cosmosdb.spark.CosmosDBSpark
import com.microsoft.azure.cosmosdb.spark.config.Config
import org.apache.spark.sql.SaveMode
val customers_dataset_config_map = Map(
"Endpoint" -> "",
"Masterkey" -> dbutils.secrets.get(scope = "", key = ""),
"Database" -> "",
"Collection" -> "",
"WritingBatchSize" -> "100")
val customers_dataset_config = Config(customers_dataset_config_map)
// Write the output to Azure Cosmos DB
customers_dataset.write.mode(SaveMode.Overwrite).cosmosDB(customers_dataset_config)
```
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.