python / python/cpython

zipfile.ZipFile fails to read zstd-compressed file consisting of multiple frames

Offen
#154,481 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

stdlib type-bug
Vorherrschende Sprache
Python
Sterne
77.2k
Forks
35.9k
PR-Merge-Kennzahlen
PR-Kennzahlen ausstehend

Beschreibung

Bug report

Bug description:

I have a ZIP file archive.zip that contains a file data.npy. This file is compressed with zstd, consisting of two zstd frames. When I try to read this in with zipfile, I get a BadZipFile: Bad CRC-32 for file 'data.npy' error.

import zipfile
with zipfile.ZipFile("archive.zip", "r") as z:
  with z.open("data.npy", "r") as f:
    data = f.read() # -> BadZipFile: Bad CRC-32 ...

The error is a red herring, though: When I disable CRC checking, there is no exception thrown, but the data read is in fact only the data from the first zstd frame. The second frame gets ignored completely (and thus the checksum is wrong).

import zipfile
with zipfile.ZipFile("archive.zip", "r") as z:
  with z.open("data.npy", "r") as f:
    f._update_crc = lambda newdata: None
    data = f.read() # -> result only contains data from first frame

As independent cross-check, I tested decompressing the file with both 7z and WinRAR without issues. So I don't think the file is somehow invalid. This is the file: archive.zip

CPython versions tested on:

3.14

Operating systems tested on:

Linux

Linked PRs
  • gh-154537

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Der Reproducer verwendet zipfile.ZipFile.open und z.open für das angehängte Archiv; beginne damit, den zstd-Fall mit zwei Frames in der zipfile-Implementierung von CPython zu reproduzieren. Als erledigt gilt die Aufgabe, wenn das Lesen von data.npy beide Frames zurückgibt und die normale CRC-Prüfung erfolgreich ist und ein Regressionstest dieses Verhalten abdeckt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
tooling
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.