awslabs / awslabs/aws-lambda-redshift-loader

files not loaded occasionally due "another thread has locked it for loading"

Offen
#233 22 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
JavaScript
Sterne
595
Forks
161
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

A small number of my files (around 10 out of 20k) is not loaded each day, with such error being returned after it hits the timeout:

error: The conditional request failed 
{
    "code": "ConditionalCheckFailedException",
    "time": "2021-08-23T21:16:14.506Z",
    "requestId": "5UCMPG1CQ6QRQAATPJPH8V536VVV4KQNSO5AEMVJF66Q9ASUAAJG",
    "statusCode": 400,
    "retryable": false,
    "retryDelay": 25.6182288251398
}

and logging this:

debug: Batch is ready to be processed, but another thread has locked it for loading

Despite the debug log above, I wasn't able to find any other batches with these files. My configuration is:

  • batchTimeoutSecs: 240
  • batchSize: 100
  • batchSizeBytes: ""

I wonder if anyone else experienced similar issue and whether there's a simple config tweak that could be applied to mitigate this? Thanks.

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Keine Quelldatei oder kein Test ist angegeben. Beginne damit, den Pfad zum Batch-Laden nachzuverfolgen, der „another thread has locked it for loading“ ausgibt und ConditionalCheckFailedException behandelt, wobei die gemeldeten timeout-, batch size- und batchSizeBytes-Einstellungen verwendet werden. Die Aufgabe ist abgeschlossen, wenn die Ursache der sporadisch übersprungenen Datei identifiziert und eine verifizierte Abhilfe oder Fehlerbehebung dokumentiert wurde.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, javascript
Bereich
backend, cloud, databases
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.