Improve performance of `os.walk()`
Aberta
Ninguém assumiu esta issue ainda.
performance
- Linguagem predominante
- Python
- Estrelas
- 77.2k
- Forks
- 35.9k
- Métricas de merge de PRs
- Métricas de PR pendentes
Descrição
There are a couple of minor performance improvements possible in os.walk():
- We don't need to manually pump the
os.scandiriterator, given we handle exceptions fromnext()like exceptions fromscandir()itself, i.e. by ignoring the problematic directory and moving on. We can use aforloop like filthy casuals. In bottom-up mode, we can handle exceptions fromentry.is_symlink()in the same block as those fromentry.is_dir(), which avoids a few temporary variables.- In top-down mode, we can call
os.path.join()once on a parent directory rather than for each child path.
Linked PRs
- gh-119186
- gh-119473
- gh-119573
- gh-119750
- gh-121431
- gh-121432
- gh-121433
- gh-121435
Guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Direção de pesquisa
Comece pelo ponto de entrada os.walk() e inspecione seu uso de os.scandir(), entry.is_dir(), entry.is_symlink() e os.path.join(). Revise os PRs vinculados gh-119186, gh-119473, gh-119573, gh-119750, gh-121431, gh-121432, gh-121433 e gh-121435 antes de fazer alterações; considera-se concluído quando as melhorias de desempenho propostas preservarem o tratamento de exceções e o comportamento da travessia.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Stack de tecnologia
- python
- Domínio
- operating-systems
- Tipo de issue
- Refatoração
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 20/100