facebook / facebook/zstd

Multithreaded improvements

Đang mở
#2,499 2 bình luận 2 reaction 0 người được giao Xem trên GitHub
question
Ngôn ngữ chính
C
Star
27.9k
Fork
2.6k
Merge trung bình
1 ngày 3 giờ
Pull request đã merge (30 ngày)
8

Mô tả

It looks like the the multithreaded implementation in the base zstd is a bit slower than the other available threading implementations:
zstd-mt : https://github.com/mcmilk/zstdmt/releases
pzstd: https://github.com/facebook/zstd/tree/dev/contrib/pzstd

One issue is the cpu detection, with -T0 zstd doesn't count hyperthreading cores, but at higher compression ratios they can provide additional speedup.

Another issue is decompression doesn't use threads, even adding a couple threads dedicated to reading and writing would allow speedup of single block streams. Perhaps decompression is fast enough that true multithreaded decompression per block (like plzip, lbzip2, or pbzip2) would not provide much benefit.

Jon

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.