Azure / Azure/Azure-DataFactory

Staged copy works toward Unity Catalog in Azure Databricks?

Offen
#641 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
PowerShell
Sterne
529
Forks
623
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

According to [this instruction](https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory), I was supposed to load data to a table in Unity Catalog in Azure Databricks.

But as a [sink dataset](https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory#dataset-properties), I could specify only `database` and `table`. I thought I could insert `catalog`, `schema`, `table`. I tried to insert `catalog.schema` in `database`, but it did not work and I could not see preview of data. Is `staged copy` functionality actually works against a table in Unity Catalog? If so, what is more recommended pattern of data loading between `staged copy` and `copy activity & auto loader`?

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der verlinkten Dokumentation zum Azure Data Factory connector und sink-dataset und vergleiche anschließend staged copy und Copy activity mit den im Issue erwähnten Auto Loader-Pfaden. Als abgeschlossen gilt die Dokumentation, ob staged copy Unity Catalog unterstützt, sowie die Identifizierung des empfohlenen Lademusters und der Konfiguration von catalog/schema/table, sofern dies unterstützt wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
azure
Bereich
cloud, data-engineering
Issue-Typ
Dokumentation
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.