aai-institute / aai-institute/pyDVL

Worker signalling mechanism

未关闭
#363 2 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
enhancement
主要语言
Python
星标
146
派生
10
PR 合并指标
30 天内没有已合并 PR

描述

In order to stop computation in workers once the overall computation is done we must signal the worker (we had this before with queues)

- For joblib backend: use files
- For ray / other backends use memcached / redis / whatever we use as k-v store

贡献指南

打开贡献指南

调研方向

查看 joblib backend 当前的 worker 管理方式以及现有的基于队列的信号传递机制。对于 ray 和其他 backend,检查 key-value store 的集成(memcached/redis)。首先了解 pyDVL 分布式计算模块中的 worker 生命周期。实现信号传递机制,使 worker 能够在整体计算完成后停止,同时确保与不同 backend 的兼容性。

由索引模型根据 Issue 内容生成。

评估

技术栈
memcached, python, redis
领域
backend, distributed-systems
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。