Azure / Azure/Azure-DataFactory
File reference is created when converting from CSV to Parquet
- Lingua principale
- PowerShell
- Stelle
- 529
- Fork
- 623
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
I have a dataflow that converts a csv file to parquet.
Here is my flow:

The issue appears to be in the sink. I want the file to be added in a folder that is in a container so I have this in my dataset:

When I run this, the folder is being created and the parquet file is being added to the folder but then outside of the folder is a random file that is being created with 0 bytes and has the same name as the folder path shown in the dataset. This file has no content type and is essentially blank. When I download it it's actually the folder referenced in my dataset.
This also happens when I select to move my source file to a new folder:

Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia con il flusso e il dataset mostrati nell’issue, quindi riproduci la conversione CSV-to-Parquet e lo spostamento del file sorgente usando la configurazione del sink. Ispeziona il container di destinazione per individuare il file inatteso di dimensione zero e confronta il suo nome e la sua posizione con il percorso della cartella configurato. Il lavoro è completato quando la cartella prevista e il file Parquet vengono creati senza un file vuoto aggiuntivo.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- azure
- Ambito
- cloud, data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100