awslabs / awslabs/aws-lambda-redshift-loader

files not loaded occasionally due "another thread has locked it for loading"

Aperta
#233 22 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
JavaScript
Stelle
595
Fork
161
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

A small number of my files (around 10 out of 20k) is not loaded each day, with such error being returned after it hits the timeout:

```
error: The conditional request failed
{
"code": "ConditionalCheckFailedException",
"time": "2021-08-23T21:16:14.506Z",
"requestId": "5UCMPG1CQ6QRQAATPJPH8V536VVV4KQNSO5AEMVJF66Q9ASUAAJG",
"statusCode": 400,
"retryable": false,
"retryDelay": 25.6182288251398
}
```

and logging this:

```
debug: Batch is ready to be processed, but another thread has locked it for loading
```

Despite the debug log above, I wasn't able to find any other batches with these files. My configuration is:
- `batchTimeoutSecs: 240`
- `batchSize: 100`
- `batchSizeBytes: ""`

I wonder if anyone else experienced similar issue and whether there's a simple config tweak that could be applied to mitigate this? Thanks.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Non è indicato alcun file sorgente né alcun test. Inizia tracciando il percorso di caricamento in batch che emette “another thread has locked it for loading” e gestisce ConditionalCheckFailedException, utilizzando le impostazioni segnalate di timeout, batch size e batchSizeBytes. Il lavoro è completato quando viene identificata la causa dei file saltati intermittentemente e viene documentata una mitigazione o correzione verificata.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, javascript
Ambito
backend, cloud, databases
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.