Azure / Azure/Azure-DataFactory

Source/Sink behaving differently when using parameterized Datasets

Offen
#656 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
PowerShell
Sterne
529
Forks
623
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

I use parameters with datasets in Azure Data Factory. What I've noticed is that parameters behave differently in a dataflow sink versus a dataflow source. For example, this is the parameters I set at the pipeline level on a dataflow:

![image](https://github.com/Azure/Azure-DataFactory/assets/2133717/d5d740e8-d69a-4d23-afea-c55005ea4ef4)

I provide dynamically generated filenames to both the source and sink. However, while the source is able to read in the filename from the storage blob just fine, the sink does not and I have to "override" it as such:

![image](https://github.com/Azure/Azure-DataFactory/assets/2133717/f678c81c-e296-483d-a987-f526584c152f)

If I don't, the sink writes the file in the RIGHT folder, mind you, but with the filename of `part-` and subsequent steps in the pipeline fail because they can't find the file.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginnen Sie damit, die gemeldete Azure Data Factory-Pipeline mit parametrisierten Datasets und dynamisch generierten Dateinamen sowohl in einer Dataflow-Quelle als auch in einem Dataflow-Sink zu reproduzieren. Vergleichen Sie das Parameterverhalten von Quelle und Sink, einschließlich des Ausgabedateinamens des Sinks und des späteren Pipeline-Schritts, der diesen erwartet. Das Issue enthält keine Repository-Dateien oder Tests, daher sind die Abschlusskriterien über eine konsistente Parameterbehandlung hinaus nicht definiert.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
azure
Bereich
cloud, data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.