`concurrent.futures.Executor.map` with `buffersize` should yield from buffer and raise after executor shutdown
Personne n'a encore pris cette issue.
- Langage dominant
- Python
- Étoiles
- 77.2k
- Forks
- 35.9k
- Métriques de merge des PR
- Métriques de PR en attente
Description
Bug report
Bug description:
As pointed by @salomvary in this discussion, the behavior of concurrent.futures.Executor.map with buffersize is misleading when iterating after the executor's shutdown. There is 2 cases:
- Create the generator, shut down the executor, start iterating:
with ThreadPoolExecutor(1) as executor:
iterator = executor.map(str, range(8), buffersize=2)
# start iterating after the shutdown
assert next(iterator) == "0"
assert next(iterator) == "1"
# raises StopIteration
next(iterator)
In this scenario the elements from the buffer are yielded, then the iteration is stopped.
- Create the generator, start the iteration, shut down the executor, continue the iteration
with ThreadPoolExecutor(1) as executor:
iterator = executor.map(str, range(8), buffersize=2)
# start iterating before the shutdown
assert next(iterator) == "0"
# raises "RuntimeError: cannot schedule new futures after shutdown"
next(iterator)
In this scenario a RuntimeError is raised by the first post-shutdown next, leaving not-yet-yielded results in the buffer.
I would vote for a mix of both: yield from the buffer and then raise the exception.
(the fix would be a dozen rows)
CPython versions tested on:
3.14, 3.15
Operating systems tested on:
macOS, Linux, Windows
Linked PRs
- gh-146395
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Piste de recherche
Reproduisez les deux scénarios d’arrêt décrits dans l’issue à l’aide de concurrent.futures.Executor.map et de son argument buffersize. Examinez le chemin d’itération de Executor.map, puis ajoutez une couverture pour renvoyer les résultats mis en mémoire tampon avant l’exception survenant après l’arrêt, et vérifiez que les exemples existants se comportent comme décrit.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- backend
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 30/100