Azure / Azure/Azure-DataFactory

File reference is created when converting from CSV to Parquet

Aperta
#237 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
PowerShell
Stelle
529
Fork
623
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

I have a dataflow that converts a csv file to parquet.

Here is my flow:
![image](https://user-images.githubusercontent.com/10215464/101823433-f65bcd80-3ae7-11eb-97bc-9e371c80fff6.png)

The issue appears to be in the sink. I want the file to be added in a folder that is in a container so I have this in my dataset:
![image](https://user-images.githubusercontent.com/10215464/101823502-17242300-3ae8-11eb-972d-7e412f6a6289.png)

When I run this, the folder is being created and the parquet file is being added to the folder but then outside of the folder is a random file that is being created with 0 bytes and has the same name as the folder path shown in the dataset. This file has no content type and is essentially blank. When I download it it's actually the folder referenced in my dataset.

This also happens when I select to move my source file to a new folder:
![image](https://user-images.githubusercontent.com/10215464/101832018-0083c900-3af4-11eb-9c5e-9e3ecb078dec.png)

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia con il flusso e il dataset mostrati nell’issue, quindi riproduci la conversione CSV-to-Parquet e lo spostamento del file sorgente usando la configurazione del sink. Ispeziona il container di destinazione per individuare il file inatteso di dimensione zero e confronta il suo nome e la sua posizione con il percorso della cartella configurato. Il lavoro è completato quando la cartella prevista e il file Parquet vengono creati senza un file vuoto aggiuntivo.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure
Ambito
cloud, data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.