awslabs / awslabs/aws-lambda-redshift-loader
files not loaded occasionally due "another thread has locked it for loading"
- Lingua principale
- JavaScript
- Stelle
- 595
- Fork
- 161
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
A small number of my files (around 10 out of 20k) is not loaded each day, with such error being returned after it hits the timeout:
```
error: The conditional request failed
{
"code": "ConditionalCheckFailedException",
"time": "2021-08-23T21:16:14.506Z",
"requestId": "5UCMPG1CQ6QRQAATPJPH8V536VVV4KQNSO5AEMVJF66Q9ASUAAJG",
"statusCode": 400,
"retryable": false,
"retryDelay": 25.6182288251398
}
```
and logging this:
```
debug: Batch is ready to be processed, but another thread has locked it for loading
```
Despite the debug log above, I wasn't able to find any other batches with these files. My configuration is:
- `batchTimeoutSecs: 240`
- `batchSize: 100`
- `batchSizeBytes: ""`
I wonder if anyone else experienced similar issue and whether there's a simple config tweak that could be applied to mitigate this? Thanks.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Non è indicato alcun file sorgente né alcun test. Inizia tracciando il percorso di caricamento in batch che emette “another thread has locked it for loading” e gestisce ConditionalCheckFailedException, utilizzando le impostazioni segnalate di timeout, batch size e batchSizeBytes. Il lavoro è completato quando viene identificata la causa dei file saltati intermittentemente e viene documentata una mitigazione o correzione verificata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- aws, javascript
- Ambito
- backend, cloud, databases
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100