apache / apache/datafusion-python

ADD gz decompression in parallel like pigz

Ouverte
#624 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
enhancement
Langage dominant
Python
Étoiles
604
Forks
174
Merge moyen
1 j 7 h
PR mergées (30 j)
4

Description

Hi,

In our case, we would like to read a big CSV file compressed in .gz format.

We would like to use the `read_csv ` function like this:

`ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')`

However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the `read_csv` function.

If you could take a look...

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.