clj-python / clj-python/libpython-clj
Consider releasing returned values from instance fns
Ninguém assumiu esta issue ainda.
- Linguagem predominante
- Clojure
- Estrelas
- 1.2k
- Forks
- 74
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
This will collect memory automatically:
(py/run-simple-string "
import torch.utils.data as tud
import torch
class DebugDataset (tud.Dataset):
def __init__(self):
pass
def __len__(self):
return 1000
def __getitem__ (self, i):
return torch.rand(1000, 1000, 1000)
d = DebugDataset()
print(d[0])
print(d[0])")
If the user defines a dataset using clojure and this will cause issues unless the user spams (System/gc):
(let [globals! (py/module-dict (py/add-module "__main__"))]
(.put globals! "DebugDatasetClj" DebugDataset))
(py/run-simple-string "
d = DebugDatasetClj()
print(d[0])
print(d[0])")
The issue is make-instance-fn runs in the normal jvm context so it is keeping jvm references to the produced items. It does not need to do this; the normal python reference keeping system will work just fine. Fixing this in a robust way will require some thought :-)
Guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Direção de pesquisa
Comece rastreando make-instance-fn e como ele é invocado a partir de py/run-simple-string; em seguida, reproduza os exemplos do dataset para observar a memória retida. Determine como os valores retornados são mantidos no contexto normal da JVM e verifique se o gerenciamento de referências do Python pode liberá-los sem chamadas manuais a System/gc. Considera-se concluído quando acessos repetidos ao dataset não acumularem mais essas referências da JVM.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- clojure, python
- Domínio
- backend, performance
- Tipo de issue
- Bug
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 35/100