make marshal output not dependent on reference count

Offen

#98,819 erstellt am 28.10.2022 4 Kommentare 1 Reaktion 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 35/100

Issue-Typ: Bug
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: c, python
Bereich: backend

Rechercherichtung

Beginne mit Python/marshal.c bei der referenzierten Referenzzählungsheuristik und untersuche die betroffenen Assertions in Lib/test/test_importlib/test_abc.py in den Zeilen 870-871. Verfolge, wie marshal.dumps FLAG_REF bestimmt, erstelle dann Tests, die zeigen, dass die Ausgabe unabhängig von den Referenzzählerständen des Aufrufers ist, und bestätige, dass die importlib-Tests erfolgreich durchlaufen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

interpreter-core type-bug

Bug report

Currently the marshal module will emit a previously-unseen object flagged as a potential reference from later objects, unless the object has a reference count of 1. See https://github.com/python/cpython/blob/b27b57c6e44a276c8a9843fd37d4cf65b2827d5c/Python/marshal.c#L305

This is an overly-conservative heuristic -- it's easy to construct cases where an object has a reference count >1 but is not actually referenced by any other object about to be marshaled, so FLAG_REF is set when it does not need to be.

This makes marshal output unstable depending on accidents of reference counting behavior in the code calling marshal.dumps.

I ran into this because the Cinder JIT is able to reduce unnecessary increfs, and that resulted in some importlib tests failing on comparison of marshal output at https://github.com/python/cpython/blob/b27b57c6e44a276c8a9843fd37d4cf65b2827d5c/Lib/test/test_importlib/test_abc.py#L870-L871 because under Cinder JIT the reference count of code_object in that method is 1.

This previously caused issues in distutils reproducibility, resulting in a partial fix that applies only to interned strings: https://github.com/python/cpython/pull/8226

It would be better if marshal would actually determine which objects have multiple parents in the DAG and deterministically use FLAG_REF or not based on that.

Vorherrschende Sprache: Python
Sterne: 77.2k
Forks: 36k
Ø Merge: 1 T. 9 Std.
Gemergte PRs (30 T.): 558

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus python/cpython

docs: Zipfile contains a 13-years outdated warning regarding path sanitization Offen

docs pending

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

python/cpython#157339 · 10 Kommentare · Erstellt am 11.9.2026
pydoc HTML output is not responsive and has no viewport meta in released versions Offen

stdlib type-feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

python/cpython#155601 · 2 Kommentare · Erstellt am 12.8.2026
`zipfile.ZipFile.writestr()` raises `AttributeError` instead of accepting `os.PathLike` objects (e.g. `pathlib.Path`) Offen

stdlib type-feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

python/cpython#153771 · 5 Kommentare · Erstellt am 15.7.2026
BOLT-WARNING: specifying numeric value "1" for option -icf is deprecated Offen

build type-bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100

python/cpython#149708 · 1 Kommentar · Erstellt am 12.5.2026
Expose message ID list from `ReferencesHeader` Offen

stdlib topic-email type-feature

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

python/cpython#148797 · 3 Kommentare · Erstellt am 20.4.2026

Alle Issues in python/cpython