allenai / allenai/cached_path

Add support for zstandard, bzip2, and lzma compressed tar files

オープン
#259 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
Feature request
主要言語
Python
スター
47
フォーク
22
PR マージ指標
30日以内にマージされた PR はありません

説明

**Is your feature request related to a problem? Please describe.**
Currently this library only supports `*.tar.gz` (gzip) files. This needs to be extended to also support `*.tar.zst` (zstandard), `*.tar.bz2` (bzip2), and `*.tzr.xz` (lzma) files

**Describe the solution you'd like**
Automatically decompress the compressed tar-file using the appropriate decompressor. In Python 3.14+ this can be accomplished using `mode` kwarg in `tarfile.open` ([link](https://docs.python.org/3.14/library/tarfile.html#tarfile.open)). In older Python versions, we will need special handling for zstandard compressed tar files (using the standalone [python-zstandard](https://github.com/indygreg/python-zstandard) library) since `tarfile.open` doesn't yet support zstandard.

**Describe alternatives you've considered**
None

**Additional context**
None

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。