apache / apache/datafusion-python

ADD gz decompression in parallel like pigz

未关闭
#624 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
enhancement
主要语言
Python
星标
604
派生
174
平均合并
1 天 7 小时
30 天内合并 PR
4

描述

Hi,

In our case, we would like to read a big CSV file compressed in .gz format.

We would like to use the `read_csv ` function like this:

`ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')`

However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the `read_csv` function.

If you could take a look...

贡献指南

这个仓库没有索引到贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。