Azure / Azure/Azure-DataFactory

Source/Sink behaving differently when using parameterized Datasets

Aperta
#656 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
PowerShell
Stelle
529
Fork
623
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

I use parameters with datasets in Azure Data Factory. What I've noticed is that parameters behave differently in a dataflow sink versus a dataflow source. For example, this is the parameters I set at the pipeline level on a dataflow:

![image](https://github.com/Azure/Azure-DataFactory/assets/2133717/d5d740e8-d69a-4d23-afea-c55005ea4ef4)

I provide dynamically generated filenames to both the source and sink. However, while the source is able to read in the filename from the storage blob just fine, the sink does not and I have to "override" it as such:

![image](https://github.com/Azure/Azure-DataFactory/assets/2133717/f678c81c-e296-483d-a987-f526584c152f)

If I don't, the sink writes the file in the RIGHT folder, mind you, but with the filename of `part-` and subsequent steps in the pipeline fail because they can't find the file.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia riproducendo la pipeline Azure Data Factory segnalata con datasets parametrizzati e nomi di file generati dinamicamente sia in una source di dataflow sia in un sink di dataflow. Confronta il comportamento dei parametri della source e del sink, incluso il nome del file di output del sink e il passaggio successivo della pipeline che lo prevede. L’issue non fornisce file o test del repository, quindi i criteri di completamento non sono definiti oltre alla gestione coerente dei parametri.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure
Ambito
cloud, data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.