apache / apache/datafusion-python

Configure memory usage

Aberta
#514 0 comentários 0 reações 0 responsáveis Ver no GitHub
bug
Linguagem predominante
Python
Estrelas
604
Forks
174
Merge médio
1d 7h
PRs com merge (30d)
4

Descrição

I saw a pull-request opened a while back that introduced the possibility of analyzing bigger than memory datasets by saving some of the state on disk, I was wondering if there is a way for the user to configure the maximum amount of memory the process can use?

Like `duckdb` has `"SET max_memory='1GB';"`

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

Comece localizando o pull request anterior que adicionou estado apoiado em disco para datasets maiores que a memória e, em seguida, rastreie como os usuários configuram as definições de execução nos bindings de Python. Defina como deve se comportar um limite de memória configurável pelo usuário, incluindo sua interação com o processamento apoiado em disco, e adicione cobertura que mostre que o limite configurado é respeitado.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python
Domínio
data-engineering
Tipo de issue
Funcionalidade
Dificuldade
5/5
Tempo estimado
Mais de uma semana
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
30/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.