aws / aws/aws-codedeploy-agent

Switch to use s3 multipart download when fetching artifacts

Aperta
#382 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
337
Fork
195
Merge medio
10h 54m
PR unite (30g)
4

Descrizione

Our code deploy agent is running too long to download artifacts from S3. Our artifact is around 25GB but it's taking over an hour to download into an EC2 instance which should provide GBs bandwidth.

We ran s3 cp command locally and it's only taking us ~10 mintues to download the same object. Can we use S3 multipart download?

https://github.com/aws/aws-codedeploy-agent/blob/main/lib/instance_agent/plugins/codedeploy/command_executor.rb#L334-L336

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia da lib/instance_agent/plugins/codedeploy/command_executor.rb intorno alle righe 334-336, dove vengono avviati i download degli artefatti. Leggi il flusso di download circostante e determina come dovrebbe integrarsi il download multipart da S3. Il lavoro è completato quando gli artefatti di grandi dimensioni vengono scaricati tramite trasferimenti multipart con prestazioni sostanzialmente migliori sull’istanza EC2.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, ruby
Ambito
cloud, devops
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.