Various data races in subinterpreter tests under TSAN
オープン
まだ誰も着手していません。
interpreter-core
topic-subinterpreters
type-bug
- 主要言語
- Python
- スター
- 77.2k
- フォーク
- 35.9k
- PR マージ指標
- PR 指標を取得中
説明
Bug report
Thread sanitizer reports a number of data races when running subinterpreter tests
InterpreterPoolMixin (test_concurrent_futures)
-
run_eval_code_obj: see https://github.com/python/cpython/issues/128130 -
posixmodule_execmodifies globalswaitid_result_descandstat_result_desc -
_PyBuiltins_AddExceptions: modifies globalsPyExc_EnvironmentError, etc. https://github.com/python/cpython/blob/49bd47d5f14993d37b97aa2bbf257f5df16b96a9/Objects/exceptions.c#L4354-L4355 -
_PyInterpreterState_FinalizeAllocatedBlocks: modifies _PyRuntime variable _PyInterpreterState_FinalizeAllocatedBlocks -
_globals_fini+clear_interpreter: data race on_globals.module_count(the read inclear_interpreterhappens outside of a lock) -
init_static_exctypes: modifies globals_PyExc_InterpreterError, etc. -
_structmodule_exec: data race reported onptr->unpack = native->unpack
I think for now it would make sense to skip the InterpreterPoolMixin tests when running with TSAN.
test__interpchannels
-
find_name_in_mroand_waiting_release: I don't understand this one, but it happens duringtest_send_recv_different_interpreters_and_threads
test__interpreters and test_interpreters
-
type_ready_set_new: https://github.com/python/cpython/blob/7b2e01bb555359913939d7ff168363f1760d3f8e/Objects/typeobject.c#L8509 -
type_ready: (see https://github.com/python/cpython/issues/129817) - File descriptor race in
test_api.LowLevelTests.test_is_runningandtest_running:close()concurrent withread()on the same file descriptor. -
managed_static_type_state_initintest.test_interpreters.test_stress.StressTests.test_create_many_threaded: data race on the non-atomic read ofinterp_count. - pegen
memo_statisticsmutex is currently only used in free threading build (seen in test_create_many_threaded) - version tags on static types:
NEXT_GLOBAL_VERSION_TAG,type->tp_versions_used, andtp->tp_version_tagmodifications are not thread-safe (seen in test_create_many_threaded)
test_capi.test_misc.assign_version_tag
- race on
NEXT_GLOBAL_VERSION_TAGinassign_version_tag(see above)
Linked PRs
- gh-129826
- gh-129829
- gh-135794
- gh-136266
- gh-143446
- gh-143530
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
test_concurrent_futures、test__interpchannels、test__interpreters にある未確認の競合状態から始め、続いて Modules/posixmodule.c、Objects/typeobject.c、Modules/_interpchannelsmodule.c、Modules/_struct.c のリンク先の箇所を読みます。影響を受けるサブインタープリターのテストを TSAN 下で実行します。完了とは、報告された各競合状態について、レビュー済みの解決策または文書化された処置があり、リンクされた PR が考慮されていることを意味します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- c, python
- 領域
- backend, testing-qa
- issue の種類
- バグ
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 20/100