clj-python / clj-python/libpython-clj

Consider releasing returned values from instance fns

Aberta
#242 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Linguagem predominante
Clojure
Estrelas
1.2k
Forks
74
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

This will collect memory automatically:

(py/run-simple-string "
import torch.utils.data as tud
import torch

class DebugDataset (tud.Dataset):
    def __init__(self):
        pass
    def __len__(self):
        return 1000
    def __getitem__ (self, i):
        return torch.rand(1000, 1000, 1000)

d = DebugDataset()
print(d[0])
print(d[0])")

If the user defines a dataset using clojure and this will cause issues unless the user spams (System/gc):

(let [globals! (py/module-dict (py/add-module "__main__"))]
  (.put globals! "DebugDatasetClj" DebugDataset))

(py/run-simple-string "
d = DebugDatasetClj()
print(d[0])
print(d[0])")

The issue is make-instance-fn runs in the normal jvm context so it is keeping jvm references to the produced items. It does not need to do this; the normal python reference keeping system will work just fine. Fixing this in a robust way will require some thought :-)

Guia de contribuição

Abrir o guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Direção de pesquisa

Comece rastreando make-instance-fn e como ele é invocado a partir de py/run-simple-string; em seguida, reproduza os exemplos do dataset para observar a memória retida. Determine como os valores retornados são mantidos no contexto normal da JVM e verifique se o gerenciamento de referências do Python pode liberá-los sem chamadas manuais a System/gc. Considera-se concluído quando acessos repetidos ao dataset não acumularem mais essas referências da JVM.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
clojure, python
Domínio
backend, performance
Tipo de issue
Bug
Dificuldade
4/5
Tempo estimado
3-5 dias
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
35/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.