aai-institute / aai-institute/pyDVL
Worker signalling mechanism
未关闭
enhancement
- 主要语言
- Python
- 星标
- 146
- 派生
- 10
- PR 合并指标
- 30 天内没有已合并 PR
描述
In order to stop computation in workers once the overall computation is done we must signal the worker (we had this before with queues)
- For joblib backend: use files
- For ray / other backends use memcached / redis / whatever we use as k-v store
贡献指南
调研方向
查看 joblib backend 当前的 worker 管理方式以及现有的基于队列的信号传递机制。对于 ray 和其他 backend,检查 key-value store 的集成(memcached/redis)。首先了解 pyDVL 分布式计算模块中的 worker 生命周期。实现信号传递机制,使 worker 能够在整体计算完成后停止,同时确保与不同 backend 的兼容性。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- memcached, python, redis
- 领域
- backend, distributed-systems
- Issue 类型
- 功能
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 基本清楚
- 新手友好度
- 45/100