Azure / Azure/Azure-DataFactory
Staged copy works toward Unity Catalog in Azure Databricks?
- Vorherrschende Sprache
- PowerShell
- Sterne
- 529
- Forks
- 623
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
According to [this instruction](https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory), I was supposed to load data to a table in Unity Catalog in Azure Databricks.
But as a [sink dataset](https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory#dataset-properties), I could specify only `database` and `table`. I thought I could insert `catalog`, `schema`, `table`. I tried to insert `catalog.schema` in `database`, but it did not work and I could not see preview of data. Is `staged copy` functionality actually works against a table in Unity Catalog? If so, what is more recommended pattern of data loading between `staged copy` and `copy activity & auto loader`?
Beitragsleitfaden
Rechercherichtung
Beginne mit der verlinkten Dokumentation zum Azure Data Factory connector und sink-dataset und vergleiche anschließend staged copy und Copy activity mit den im Issue erwähnten Auto Loader-Pfaden. Als abgeschlossen gilt die Dokumentation, ob staged copy Unity Catalog unterstützt, sowie die Identifizierung des empfohlenen Lademusters und der Konfiguration von catalog/schema/table, sofern dies unterstützt wird.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- azure
- Bereich
- cloud, data-engineering
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100