python / python/cpython

zipfile.ZipFile fails to read zstd-compressed file consisting of multiple frames

未關閉
#154,481 1 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視

還沒有人認領這個 Issue。

stdlib type-bug
主要語言
Python
星號
77.2k
分支
36k
PR 合併指標
PR 指標待擷取

描述

Bug report

Bug description:

I have a ZIP file archive.zip that contains a file data.npy. This file is compressed with zstd, consisting of two zstd frames. When I try to read this in with zipfile, I get a BadZipFile: Bad CRC-32 for file 'data.npy' error.

import zipfile
with zipfile.ZipFile("archive.zip", "r") as z:
  with z.open("data.npy", "r") as f:
    data = f.read() # -> BadZipFile: Bad CRC-32 ...

The error is a red herring, though: When I disable CRC checking, there is no exception thrown, but the data read is in fact only the data from the first zstd frame. The second frame gets ignored completely (and thus the checksum is wrong).

import zipfile
with zipfile.ZipFile("archive.zip", "r") as z:
  with z.open("data.npy", "r") as f:
    f._update_crc = lambda newdata: None
    data = f.read() # -> result only contains data from first frame

As independent cross-check, I tested decompressing the file with both 7z and WinRAR without issues. So I don't think the file is somehow invalid. This is the file: archive.zip

CPython versions tested on:

3.14

Operating systems tested on:

Linux

Linked PRs
  • gh-154537

貢獻指南

開啟貢獻指南

從這裡開始

  1. 先讀完整個 Issue,再讀專案的貢獻指南。
  2. 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
  3. Fork 儲存庫,在一個分支上完成修改。
  4. 送出 Pull Request,並在描述裡引用這個 Issue 編號。

研究方向

重現程式在附加的封存檔上使用 zipfile.ZipFile.open 和 z.open;首先在 CPython 的 zipfile 實作中重現包含兩個 frame 的 zstd 情況。完成的標準是讀取 data.npy 會回傳兩個 frame,且一般的 CRC 檢查成功,並有一個涵蓋此行為的回歸測試。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
tooling
Issue 類型
缺陷
難度
3/5
預估耗時
1-2 天
活躍度
停滯
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。