`PyImport_CreateModuleFromInitfunc()`: wrong `__name__` for submodules, non-ASCII names rejected, inittab name clashes
まだ誰も着手していません。
- 主要言語
- Python
- スター
- 77.2k
- フォーク
- 35.9k
- PR マージ指標
- PR 指標を取得中
説明
Bug report
Bug description:
Since PyImport_CreateModuleFromInitfunc() was added (in 3.15, gh-116146), I ran into some issues from real world use internally at Meta (with 3.15+, as well as our 3.14 fork, which has this backported). Collected here as a single issue for convenience - let me know if splitting is preferred.
The API is built on the internal create_builtin() helper, and inherits a few inittab behaviors that don't make sense for an explicitly-passed init function.
- Single-phase submodules get the short name. The package context is never set while
initfuncruns, so a single-phase init that creates its module assub(what pybind11'sPYBIND11_MODULE(sub, m)does) ends up with__name__ == 'sub'while the spec sayspkg.sub. The original impl handled that, but it was lost somewhere on the way. - Non-ASCII spec names raise
UnicodeEncodeError, even for multi-phase modules, which the dynamic loader accepts. - Names registered in
PyImport_Inittabare handled silently. Depending on the state of the builtin,initfuncis ignored, or the module created here replaces the builtin for later imports, or (multi-phase builtin)initfunc's module overwrites the real one insys.modules.sysandbuiltinsfall in the first bucket. - Undocumented semantics. Single-phase modules are added to
sys.modulesby the call itself, multi-phase ones aren't. The spec name is the module's identity, so a second call with the same name and a differentinitfuncreturns the cached module and never calls the new function.
The existing test only covers one top-level single-phase and one top-level multi-phase module, so none of this was caught.
AI disclosure: I ran into the first issue in production, used Claude Opus 5 and Fable 5.1 to root cause, which flagged the other issues while investigating. Fable 5.1 prepared the fixes.
Demo output before any fix:
pkg.sub: repr=<module 'sub'> __name__=sub
non-ASCII name: UnicodeEncodeError: 'ascii' codec can't encode character '\xf6'
same name, initfunc B after A: which=A calls_a=1 calls_b=0
'_random' via custom initfunc, then `import _random`: <module 'same'> hasattr(Random)=False
Tests demonstrating all of the above: https://github.com/itamaro/cpython/tree/gh-116146-initfunc-tests-only
Plan
One PR each:
- Set the package context while calling
initfunc, like the dynamic loader does (1) - Accept non-ASCII names for multi-phase init; single-phase gets the same
SystemErroras dynamic loading (2) - Raise
ImportErrorfor names registered inPyImport_Inittab(3) - Document the
sys.modulesand name-identity behavior (4)
CPython versions tested on:
CPython main branch, 3.15
Operating systems tested on:
Linux, macOS
Linked PRs
- gh-157387
- gh-157388
- gh-157389
- gh-157390
- gh-157758
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
PyImport_CreateModuleFromInitfunc()、トップレベルの単一フェーズおよびマルチフェーズモジュール向けの既存のテスト、そしてリンクされているテストブランチ gh-116146-initfunc-tests-only から始めます。その動作を PyImport_Inittab および動的ローダーと比較します。4つのチェックリスト項目(sys.modules と名前の同一性のセマンティクスの文書化を含む)が対処されていれば完了です。リンクされている PR gh-157387 から gh-157390 および gh-157758 は、作業がすでに進行中であることを示しています。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- backend
- issue の種類
- バグ
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 25/100