Azure / Azure/azure-sdk-for-java

[QUERY] How to use Linked Services with Cosmos DB Spark connector Throughput control in Synapse Analytics

Abierto
#42,855 8 comentarios 0 reacciones 1 asignado Ver en GitHub

@TheovanKraay ya está trabajando en esto.

Desde el 7/10/2025.

Client Cosmos customer-reported needs-team-attention question Service Attention
Lenguaje dominante
Java
Estrellas
2.6k
Forks
2.2k
Merge medio
2 d 2 h
PR fusionados (30 d)
205

Descripción

Query/Question

What is the equivalent to spark.synapse.linkedService for use with spark.cosmos.throughputControl.globalControl.database

I need to use private endpoints because of DEP, and having credentials stored with Linked Services is very handy.

Why is this not a Bug or a feature Request?

Feels like I'm missing something really obvious, but the docs don't seem to cover what I'm seeking,

Setup (please complete the following information if applicable):

  • OS: Spark 3.4 Python 3.10 Scala
  • IDE: Synapse Analytics Web based
  • Library/Libraries: default Spark Pool config

PySpark

(
    df_floodre
    .withColumn('id', F.col('uprn').cast('string'))
    .write
    .format("cosmos.oltp")
    .mode("Append")
    .option("spark.synapse.linkedService", "CosmosDB_GraphQL_databasets")
    .option("spark.cosmos.container", 'floodRe')
    .option('spark.cosmos.throughputControl.enabled','true')
    .option('spark.cosmos.throughputControl.name','floodRe_Loader_Jobs_Group') 
    .option('spark.cosmos.throughputControl.globalControl.database','CosmosDB_GraphQL_databasets_ThroughputControl') 
    .option('spark.cosmos.throughputControl.globalControl.container','ThroughputControl-floodre')
    .option('spark.cosmos.throughputControl.targetThroughput',7000)
    .save()
)

I've tried a few likely nonsensical permutations and got 403 or 404 errors. Guidance much appreciated.

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.