ipython / ipython/ipyparallel

Proper shutdown for dask.distributed

Đang mở
#265 3 bình luận 0 reaction 0 người được giao Xem trên GitHub
Ngôn ngữ chính
Jupyter Notebook
Star
2.6k
Fork
1k
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

When using the [`stop_dask` method]( http://ipyparallel.readthedocs.io/en/latest/api/ipyparallel.html#ipyparallel.Client.stop_dask ) of the `ipyparallel.Client`, the following warning message pops up.

```
distributed.client - WARNING - Client report stream closed to scheduler
```

However, if I run [`shutdown`]( http://distributed.readthedocs.io/en/latest/api.html#distributed.client.Client.shutdown ) on the Dask client provided by [`become_dask`]( http://ipyparallel.readthedocs.io/en/latest/api/ipyparallel.html#ipyparallel.Client.become_dask ), and then run `stop_dask`, the warning goes away.

Looking at the [code in ipyparallel]( https://github.com/ipython/ipyparallel/blob/6.0.2/ipyparallel/client/client.py#L1334 ) it is not obvious how it would handle calling `shutdown` as it does not know the Dask client in `stop_dask`. However it does seem `shutdown` needs to be called on the `executor`. How exactly should shutdown be done with `dask.distributed`?

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.