apache / apache/datafusion-python
Configure memory usage
- Linguagem predominante
- Python
- Estrelas
- 604
- Forks
- 174
- Merge médio
- 1d 7h
- PRs com merge (30d)
- 4
Descrição
I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?
Like `duckdb` has `"SET max_memory='1GB';"`
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
Comece localizando o pull request anterior que adicionou estado apoiado em disco para datasets maiores que a memória e, em seguida, rastreie como os usuários configuram as definições de execução nos bindings de Python. Defina como deve se comportar um limite de memória configurável pelo usuário, incluindo sua interação com o processamento apoiado em disco, e adicione cobertura que mostre que o limite configurado é respeitado.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- data-engineering
- Tipo de issue
- Funcionalidade
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Status de atividade
- Estagnada
- Clareza
- Precisa de esclarecimento
- Facilidade para iniciantes
- 30/100