awslabs / awslabs/aws-lambda-redshift-loader
files not loaded occasionally due "another thread has locked it for loading"
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- JavaScript
- Sterne
- 595
- Forks
- 161
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
A small number of my files (around 10 out of 20k) is not loaded each day, with such error being returned after it hits the timeout:
error: The conditional request failed
{
"code": "ConditionalCheckFailedException",
"time": "2021-08-23T21:16:14.506Z",
"requestId": "5UCMPG1CQ6QRQAATPJPH8V536VVV4KQNSO5AEMVJF66Q9ASUAAJG",
"statusCode": 400,
"retryable": false,
"retryDelay": 25.6182288251398
}
and logging this:
debug: Batch is ready to be processed, but another thread has locked it for loading
Despite the debug log above, I wasn't able to find any other batches with these files. My configuration is:
batchTimeoutSecs: 240batchSize: 100batchSizeBytes: ""
I wonder if anyone else experienced similar issue and whether there's a simple config tweak that could be applied to mitigate this? Thanks.
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Keine Quelldatei oder kein Test ist angegeben. Beginne damit, den Pfad zum Batch-Laden nachzuverfolgen, der „another thread has locked it for loading“ ausgibt und ConditionalCheckFailedException behandelt, wobei die gemeldeten timeout-, batch size- und batchSizeBytes-Einstellungen verwendet werden. Die Aufgabe ist abgeschlossen, wenn die Ursache der sporadisch übersprungenen Datei identifiziert und eine verifizierte Abhilfe oder Fehlerbehebung dokumentiert wurde.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- aws, javascript
- Bereich
- backend, cloud, databases
- Issue-Typ
- Bug
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100