apache / apache/datafusion-python

ADD gz decompression in parallel like pigz

Aberta
#624 0 comentários 0 reações 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Python
Estrelas
604
Forks
174
Merge médio
1d 7h
PRs com merge (30d)
4

Descrição

Hi,

In our case, we would like to read a big CSV file compressed in .gz format.

We would like to use the `read_csv ` function like this:

`ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')`

However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the `read_csv` function.

If you could take a look...

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Start at the ctx.read_csv entry point described in the issue and trace how .gz input is decompressed. Determine where parallel gzip decompression would fit and how it should be measured against the reported pigz and read_csv times. Done means the requested gzip CSV read path provides parallel decompression with validated performance.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python
Domínio
data-engineering
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
30/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.