aws / aws/aws-sdk-cpp

Huge RAM usage on big file uploads

Aperta
#2,856 7 commenti 0 reazioni 0 assegnatari Vedi su GitHub
feature-request p2
Lingua principale
C++
Stelle
2.2k
Fork
1.2k
Merge medio
4g 11h
PR unite (30g)
13

Descrizione

### Describe the bug

I want to uploada big file. So I wanted to up the partSize of my s3crtclient Configuration.
But, it seems the RAM consumption of my process is a direct multiple (around 20x) of that value. So when I tried 50MB, my process was taking 1GB of RAM.

### Expected Behavior

Uploading files should be simple enough that it consumes less RAM.

### Current Behavior

It uses 20x the RAM of the part size. For a huge upload that is too much. And that means I cannot do more than 1 in parallel.

### Reproduction Steps

see description

### Possible Solution

_No response_

### Additional Information/Context

_No response_

### AWS CPP SDK version used

1.11.258

### Compiler and Version used

Apple clang version 15.0.0 (clang-1500.1.0.2.5)

### Operating System and version

macOS Sonoma 14.3

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia riproducendo l’upload S3 con AWS SDK for C++ 1.11.258, un partSize di 50 MB e l’ambiente macOS Sonoma e Apple Clang indicato, quindi misura la memoria del processo durante l’upload. L’issue non indica file o test, quindi traccia il percorso dell’upload a partire dalla configurazione del client S3. Il lavoro è completato quando viene identificata la causa dell’aumento di memoria di circa 20 volte e gli upload di grandi dimensioni usano sostanzialmente meno memoria.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, cpp
Ambito
cloud
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.