apache / apache/datafusion-python
ADD gz decompression in parallel like pigz
- Linguagem predominante
- Python
- Estrelas
- 604
- Forks
- 174
- Merge médio
- 1d 7h
- PRs com merge (30d)
- 4
Descrição
Hi,
In our case, we would like to read a big CSV file compressed in .gz format.
We would like to use the `read_csv ` function like this:
`ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')`
However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the `read_csv` function.
If you could take a look...
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Start at the ctx.read_csv entry point described in the issue and trace how .gz input is decompressed. Determine where parallel gzip decompression would fit and how it should be measured against the reported pigz and read_csv times. Done means the requested gzip CSV read path provides parallel decompression with validated performance.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- data-engineering
- Tipo de issue
- Funcionalidade
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Status de atividade
- Estagnada
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 30/100