indygreg / indygreg/python-zstandard
How to compress (or decompress) a large file (100G or more) into one file or multiple files using zstd?
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- C
- Sterne
- 642
- Forks
- 116
- Ø Merge
- 1 T. 14 Std.
- Gemergte PRs (30 T.)
- 5
Beschreibung
I read readme, I know that simple-api is prone to abuse, as The input and output values must fit in memory, so passing in very large values can result in excessive memory usage. For this reason, one of the streaming based APIs is preferred for larger values.
But I didn't understand how to use the streaming API to compress a large file into one or more files.
And what should I do when decompressing?
I hope someone can provide a simple example(use python) to give me a reference. Thanks.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne mit den README-Abschnitten zu den einfachen und Streaming-APIs und identifiziere dann die Streaming-Beispiele oder Einstiegspunkte für die Datei-Eingabe und -Ausgabe. Die Dokumentation sollte ein einfaches Python-Beispiel zum Komprimieren und Dekomprimieren sehr großer Dateien enthalten, einschließlich der Erstellung einer oder mehrerer Ausgabedateien, ohne die vollständigen Daten in den Speicher zu laden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- documentation
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100