codingjoe / codingjoe/threadmill

Add worker pool telemetry

Đang mở
#18 0 bình luận 0 reaction 1 người được giao Được @codingjoe nhận Xem trên GitHub
enhancement
Ngôn ngữ chính
Python
Star
12
Fork
1
Merge trung bình
1 ngày 1 giờ
Pull request đã merge (30 ngày)
10

Mô tả

We already have queue telemetry, but it would be cool to monitor the health of the worker pool too.

I would love be able to toggle between queue and worker view.

The [psutil](https://github.com/giampaolo/psutil) package allows us to telemetry per node. Via Redis PUB/SUB, we can feed it back to the inspector and display it. I'm thinking of a similar interface like btop or htop (two top alternatives with a nice TUI and graphs).

Some metrics I would be interested in:

node mem
node cpu
node task throughput (tasks per minute)

worker throughput
worker memory allocation
worker CPU allocation

The graphs for throughput, cpu & mem should remain at the same position while displaying different data depending on what is selected.

The selection should be happening via a tree. Queue -> node -> worker
While nodes can repeat per queue, if multiple nodes are listening to the same queue.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.