nogil inconsistent empty list while sorting
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 77.2k
- Forks
- 35.9k
- PR-Merge-Kennzahlen
- PR-Kennzahlen ausstehend
Beschreibung
Bug report
Bug description:
Hi,
We're a research group focused on testing concurrent runtimes. Our work-in-progress prototype found a violation of atomicity on the current nogil build when using concurrent operations on the same list. The program below shows the wrong behavior.
from threading import Thread,Barrier,Lock
def t1(b1,l,r):
b1.wait()
r[0] = l.__len__()
def t2(b1,l,r):
b1.wait()
r[0] = l.__str__()
def t3(b1,l):
b1.wait()
l.sort()
def normalSetTest(i):
sharedList = [1,2,3] * 100
barrier = Barrier(2)
res = [ None ]
threads = [
Thread(target= t1, args=(barrier,sharedList,res,)),
#Thread(target= t2, args=(barrier,sharedList,res,)),
Thread(target= t3, args=(barrier,sharedList,)),
]
for t in threads:
t.start()
for t in threads:
t.join()
if res[0] in [ 0, '[]' ]:
print("\tfound bug: " + str(res[0]))
print("test begin...")
for n in range(0,10):
threads = []
for i in range(0,1):
threads.append(Thread(target= normalSetTest, args=(n,)))
for t in threads:
t.start()
for t in threads:
t.join()
print("test Done")
A list with 300 integers is sorted in t3 while another thread either gets the size of the list t1 or turns the list into a string t2. Running the code above will show threads t1 and t2 finding an inconsistent empty list with length 0 or turned into the string "[]".
Our tool did not find any other interesting values: either it's an expected value (original list or sorted list) OR it's empty.
Sample output:
test begin...
found bug: 0
found bug: 0
found bug: 0
found bug: 0
found bug: 0
test Done
We're happy to provide more details about this bug, and to help developers reproducing it.
Output of python -VV: Python 3.14.0a1+ experimental free-threading build (heads/main:faa3272fb8d, Oct 29 2024, 09:14:25) [GCC 14.2.1 20240805]
@flypoodles and @overlorde are part of the team, adding them so they get notified about further discussion.
I believe this issue is part of the ongoing conversation on #126136 about acceptable behaviors of containers operated by many threads concurrently, described in the original nogil PEP: https://peps.python.org/pep-0703/#container-thread-safety
CPython versions tested on:
3.13, 3.14, CPython main branch
Operating systems tested on:
Linux
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginnen Sie mit der Ausführung des bereitgestellten Reproduzierers auf einem free-threading CPython-Build und lesen Sie anschließend den Abschnitt zur Thread-Sicherheit von Containern in PEP 703 sowie die Diskussion in issue #126136. Das erwartete Verhalten für nebenläufiges Sortieren von Listen, die Längenbestimmung und die String-Konvertierung muss feststehen, bevor bestimmt wird, ob eine Korrektur und ein Regressionstest erforderlich sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- backend
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100