apache / apache/datafusion-python

ADD gz decompression in parallel like pigz

Aperta
#624 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Python
Stelle
604
Fork
174
Merge medio
1g 7h
PR unite (30g)
4

Descrizione

Hi,

In our case, we would like to read a big CSV file compressed in .gz format.

We would like to use the `read_csv ` function like this:

`ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')`

However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the `read_csv` function.

If you could take a look...

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.