Data race reading `UnicodeDecodeError.start`/`end` in `__str__` under free-threading
まだ誰も着手していません。
- 主要言語
- Python
- スター
- 77.2k
- フォーク
- 35.9k
- PR マージ指標
- PR 指標を取得中
説明
Bug report
Bug description:
On a free-threaded build, UnicodeDecodeError.__str__ reads the start and end members with plain (non-atomic) loads, while assigning to exc.start / exc.end goes through PyMember_SetOne, which does an atomic store. So calling str(exc) on a shared UnicodeDecodeError concurrently with setting its start/end is a data race on those Py_ssize_t members.
start and end are exposed as Py_T_PYSSIZET members:
https://github.com/python/cpython/blob/22a6c51c94a4fde986b8964f1d36d5ec3ac20dcc/Objects/exceptions.c#L3758-L3761
Plain read in UnicodeDecodeError_str:
https://github.com/python/cpython/blob/22a6c51c94a4fde986b8964f1d36d5ec3ac20dcc/Objects/exceptions.c#L3947-L3966
Reproducer:
from threading import Thread
shared_exc = UnicodeDecodeError('utf-8', b'\xff\xfe\xfa', 1, 2, 'invalid start byte')
def chain1_thread():
for i in range(20000):
try:
shared_exc.start = i % 3
except Exception:
pass
def chain2_thread():
for _ in range(20000):
try:
str(shared_exc)
except Exception:
pass
N_C1 = 4
N_C2 = 8
threads = [Thread(target=chain1_thread) for _ in range(N_C1)]
threads += [Thread(target=chain2_thread) for _ in range(N_C2)]
for t in threads: t.start()
for t in threads: t.join()
TSAN Report:
WARNING: ThreadSanitizer: data race (pid=656224)
Read of size 8 at 0x7fffb63734e8 by thread T5:
#0 UnicodeDecodeError_str /cpython/Objects/exceptions.c:3948:29
#1 PyObject_Str /cpython/Objects/object.c:826:11
#2 unicode_vectorcall /cpython/Objects/unicodeobject.c:14279:16
#3 _PyObject_VectorcallTstate /cpython/./Include/internal/pycore_call.h:144:11
#4 PyObject_Vectorcall /cpython/Objects/call.c:327:12
#5 _Py_VectorCallInstrumentation_StackRefSteal /cpython/Python/ceval.c:768:11
#6 _PyEval_EvalFrameDefault /cpython/Python/generated_cases.c.h:1906:35
Previous atomic write of size 8 at 0x7fffb63734e8 by thread T3:
#0 PyMember_SetOne /cpython/Python/structmember.c
#1 member_set /cpython/Objects/descrobject.c:239:12
#2 _PyObject_GenericSetAttrWithDict /cpython/Objects/object.c:2049:19
#3 PyObject_GenericSetAttr /cpython/Objects/object.c:2120:12
#4 PyObject_SetAttr /cpython/Objects/object.c:1533:15
#5 _PyEval_EvalFrameDefault /cpython/Python/generated_cases.c.h:12057:27
SUMMARY: ThreadSanitizer: data race/cpython/Objects/exceptions.c:3948:29 in UnicodeDecodeError_str
CPython versions tested on:
CPython main branch
Operating systems tested on:
Linux
Linked PRs
- gh-155255
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
Objects/exceptions.c の Py_T_PYSSIZET メンバー宣言と UnicodeDecodeError_str から始め、次に提供された threading reproducer を free-threaded ビルドで実行して TSAN レポートを調査します。報告された race が解消され、関連する CPython テストが成功すれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- c, python
- 領域
- operating-systems
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- 明確に書かれている
- 初心者へのやさしさ
- 25/100