ProjectTech4DevAI / ProjectTech4DevAI/kaapi-backend

Evaluation: Worker cap for LLM jobs

Abierto
#1,019 0 comentarios 0 reacciones 1 asignado Ver en GitHub

@AkhileshNegi ya está trabajando en esto.

Desde el 9/7/2026.

bug
Lenguaje dominante
Python
Estrellas
18
Forks
10
Merge medio
2 d 20 h
PR fusionados (30 d)
14

Descripción

Is your feature request related to a problem?
Fast evaluations and high-priority LLM jobs share one Celery default queue and one global worker_concurrency, with no cap on how many fast-eval chunk tasks can run at once. A 500-item run fans out to 10 chunk tasks (chunk size 50), so 2-3 concurrent eval runs (20-30 tasks) can occupy every worker slot.

Task priority (LLM=9, eval=6) does not help here: RabbitMQ priority only decides which queued task runs next when a slot frees — it does not preempt a running task. So when all slots are busy with eval chunks, an incoming LLM job waits until a chunk finishes (soft time limit 300s), meaning a high-priority LLM call can wait ~4 minutes. Not acceptable for interactive latency.

Describe the solution you'd like
Cap the worker capacity fast evals can consume, so high-priority LLM jobs always have headroom

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.