Huge RAM usage on big file uploads
- Lingua principale
- C++
- Stelle
- 2.2k
- Fork
- 1.2k
- Merge medio
- 4g 11h
- PR unite (30g)
- 13
Descrizione
### Describe the bug
I want to uploada big file. So I wanted to up the partSize of my s3crtclient Configuration.
But, it seems the RAM consumption of my process is a direct multiple (around 20x) of that value. So when I tried 50MB, my process was taking 1GB of RAM.
### Expected Behavior
Uploading files should be simple enough that it consumes less RAM.
### Current Behavior
It uses 20x the RAM of the part size. For a huge upload that is too much. And that means I cannot do more than 1 in parallel.
### Reproduction Steps
see description
### Possible Solution
_No response_
### Additional Information/Context
_No response_
### AWS CPP SDK version used
1.11.258
### Compiler and Version used
Apple clang version 15.0.0 (clang-1500.1.0.2.5)
### Operating System and version
macOS Sonoma 14.3
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia riproducendo l’upload S3 con AWS SDK for C++ 1.11.258, un partSize di 50 MB e l’ambiente macOS Sonoma e Apple Clang indicato, quindi misura la memoria del processo durante l’upload. L’issue non indica file o test, quindi traccia il percorso dell’upload a partire dalla configurazione del client S3. Il lavoro è completato quando viene identificata la causa dell’aumento di memoria di circa 20 volte e gli upload di grandi dimensioni usano sostanzialmente meno memoria.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, cpp
- Ambito
- cloud
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 35/100