imdecode jpeg2000 segfault or deadlock in multithreading
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 5.4k
- Forks
- 1k
- Ø Merge
- 22 Std. 17 Min.
- Gemergte PRs (30 T.)
- 3
Beschreibung
Expected behaviour
In the main thread, it works well as written in the example bellow:
import multiprocessing.pool
import cv2
import numpy as np
import tqdm
img = np.random.randint(0, 65335, (1024, 1024), dtype=np.uint16)
_, img_data = cv2.imencode(".jp2", img)
n = 100
def read(i):
image = cv2.imdecode(buffer, cv2.IMREAD_ANYDEPTH | cv2.IMREAD_GRAYSCALE)
list(tqdm.tqdm(map(read, range(n)), total=n, desc="main thread main process"))
with multiprocessing.pool.Pool() as pool:
list(tqdm.tqdm(pool.imap_unordered(read, range(n)), total=n, desc="main thread child process"))
Actual behaviour
But in a thread, it is all broken!
import multiprocessing.pool
import cv2
import numpy as np
import tqdm
img = np.random.randint(0, 65335, (1024, 1024), dtype=np.uint16)
_, img_data = cv2.imencode(".jp2", img)
n = 100
def read(i):
image = cv2.imdecode(buffer, cv2.IMREAD_ANYDEPTH | cv2.IMREAD_GRAYSCALE)
with multiprocessing.pool.ThreadPool() as pool:
list(tqdm.tqdm(pool.imap_unordered(read, range(n)), total=n, desc="child thread main process"))
When the code does not freeze by itself, an interrupt with ctrl+c leads allways to a segfault. Unlike the threadless example.
Steps to reproduce
- Tested on Debian, Ubuntu and Mint
- Version 4.9.0 of opencv-contrib-python-headless
- Tested on python 3.9, 3.10, 3.11 and 3.12
- architecture x86
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit dem bereitgestellten Python ThreadPool-Reproduzierer und vergleiche ihn mit dem Fall des multiprocessing Pool in den aufgeführten Python- und Debian-basierten Umgebungen. Überprüfe die Pufferkonfiguration und beobachte, ob die JPEG2000-Decodierung unter gleichzeitig ausgeführten Threads sicher abgeschlossen wird; als abgeschlossen gilt dies, wenn kein Deadlock oder Segfault auftritt und die Decodierung über die wiederholten Aufrufe hinweg erfolgreich ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- tooling
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 42/100