Issue with multiple consumers - re-delivering in progress jobs
Nessuno ha ancora preso questa issue.
- Lingua principale
- PHP
- Stelle
- 36
- Fork
- 22
- Merge medio
- 20h 36m
- PR unite (30g)
- 2
Descrizione
Hello,
I'm not sure if I have found a bug or if this just a case of user error.
I am having an issue with running multiple workers on long running jobs (~20 minutes).
When add a message into the queue and then start 2 workers using the following command
bin/cake worker -c process-invoices -p process-invoices
Initially, 1 worker will begin to process the job. However, after about 5 minutes, the other worker also begins to start working on the same job.
I have set $maxAttempts = 1 in the job class.
Next, I tried to bind each processor to an unique name
bin/cake worker -c process-invoices -p process-invoices1
and
bin/cake worker -c process-invoices -p process-invoices2
The message is only picked up by 1 worker, however if another message gets added to the queue, the other worker receives the following error:
[LogicException] Processor was not found. processorName: "process-invoices2" in /var/www/html/vendor/enqueue/enqueue/ArrayProcessorRegistry.php on line 33
And when I don't bind the processor name and run the following command twice to create 2 workers
bin/cake worker -c process-invoices
I receive a similar error:
error: [LogicException] Processor was not found. processorName: "Cake\Queue\Queue\Processor63e2a1884f1c4" in /var/www/html/vendor/enqueue/enqueue/ArrayProcessorRegistry.php on line 33
For reference, the config for the queue is:
'Queue' => [
'process-invoices' => [
'url' => null,
'queue' => 'process-invoices',
'logger' => 'stdout',
'receiveTimeout' => 10000,
'storeFailedJobs' => true,
],
],
I am unable to figure out a method of having multiple workers without the errors or re-processing jobs.
Is there any config setting (visibility timeout) that I am missing to resolve my issues?
Thanks!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia riproducendo il problema con due processi worker bin/cake usando la configurazione process-invoices e un job di lunga durata. Leggi il punto di ingresso del worker e l’errore segnalato in ArrayProcessorRegistry.php, quindi confronta il comportamento con nomi di processore univoci e condivisi. Il lavoro è completato quando più worker possono elaborare i job accodati senza nuova consegna o errori Processor was not found.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- php
- Ambito
- backend, distributed-systems
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 25/100