Azure / Azure/Azure-DataFactory

Staged copy works toward Unity Catalog in Azure Databricks?

Aperta
#641 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
PowerShell
Stelle
529
Fork
623
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

According to [this instruction](https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory), I was supposed to load data to a table in Unity Catalog in Azure Databricks.

But as a [sink dataset](https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory#dataset-properties), I could specify only `database` and `table`. I thought I could insert `catalog`, `schema`, `table`. I tried to insert `catalog.schema` in `database`, but it did not work and I could not see preview of data. Is `staged copy` functionality actually works against a table in Unity Catalog? If so, what is more recommended pattern of data loading between `staged copy` and `copy activity & auto loader`?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dalla documentazione collegata del connettore Azure Data Factory e del sink-dataset, quindi confronta staged copy e Copy activity con i percorsi Auto Loader menzionati nell’issue. Il lavoro è completato quando viene documentato se staged copy supporta Unity Catalog e vengono identificati il pattern di caricamento consigliato e la configurazione di catalog/schema/table, se supportati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure
Ambito
cloud, data-engineering
Tipo di issue
Documentazione
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.