python / python/cpython

Performance regression of pathlib.Path hashing

Ouverte
#138,407 19 commentaires 1 réaction 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

performance stdlib topic-pathlib type-bug
Langage dominant
Python
Étoiles
77.2k
Forks
36k
Métriques de merge des PR
Métriques de PR en attente

Description

Bug report

Bug description:

Converting a list of pathlib.Path objects to a set() takes significantly more time in python 3.12 and beyond compared to 3.11.

The below code is a minimal reproduction:


from pathlib import Path
import time
import sys

print(sys.version)

# make 6000 paths as a string
paths_str = ["/tmp/foo/bar/{i}" for i in range(1000, 7000)]

t = time.perf_counter()
# convert it to a list of Path objects
paths_path = [Path(path) for path in paths_str]

elapsed = time.perf_counter() - t
print(f"List construct: {int(elapsed * 1000)} msec")

# convert list to set
t = time.perf_counter()
set(paths_path)
elapsed = time.perf_counter() - t
print(f"Set conversion: {int(elapsed * 1000)} msec")


# extra step: convert list to set (demonstrate caching makes it faster)
t = time.perf_counter()
set(paths_path)
elapsed = time.perf_counter() - t
print(f"Set conversion (cached): {int(elapsed * 1000)} msec")

It shows with 3.12:

3.12.11 (main, Jun  3 2025, 15:41:47) [GCC 14.3.0]
List construct: 5 msec
Set conversion: 28 msec
Set conversion (cached): 1 msec

With 3.14rc1 (similar):

3.14.0rc1 (main, Jul 22 2025, 16:42:44) [GCC 14.3.0]
List construct: 4 msec
Set conversion: 26 msec
Set conversion (cached): 1 msec

But with python 3.11 (faster):

3.11.13 (main, Jun  3 2025, 18:38:25) [GCC 14.3.0]
List construct: 12 msec
Set conversion: 8 msec
Set conversion (cached): 1 msec

I also found that not only hash() got worse but str() as well - if you replace the set() call with a [str(p) for p in paths_path].

I found a possible candidate for this issue, but that's more just a theory, I could not test it:
https://github.com/python/cpython/commit/a68e585c8b7b27323f67905868467ce0588a1dae

Could you please check what causes this?
I think newer python versions should not make the code slower, pathlib.Path is a great object (much superior than str) and now using lots of paths with a set or dict (which are also powerful data structures) kills the performance.

If you need any help, let me know.

Thank you,
Zsolt

CPython versions tested on:

3.12

Operating systems tested on:

Linux

Linked PRs
  • gh-138645

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Piste de recherche

Commencez par le benchmark signalé de pathlib.Path, en comparant le hashing et la conversion en chaîne avec Python 3.11, 3.12 et 3.14. Examinez le commit suspect a68e585c8b7b27323f67905868467ce0588a1dae et la PR associée gh-138645. La tâche est terminée lorsque la régression est identifiée et que des performances comparables pour les opérations sur les sets, le hash et la conversion en chaîne sont rétablies.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
performance
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.