apache / apache/datafusion-python

ADD gz decompression in parallel like pigz

Abierto
#624 0 comentarios 0 reacciones 0 asignados Ver en GitHub
enhancement
Lenguaje dominante
Python
Estrellas
604
Forks
174
Merge medio
1 d 7 h
PR fusionados (30 d)
4

Descripción

Hi,

In our case, we would like to read a big CSV file compressed in .gz format.

We would like to use the `read_csv ` function like this:

`ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')`

However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the `read_csv` function.

If you could take a look...

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.