dask chunking tutorial outline
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 35/100
- Issue 類型
- 文件
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
- 領域
- data, documentation
研究方向
Review the linked Dask chunking resources and the repository's existing tutorial structure first; no target file is named in the issue. Done means an intermediate Xarray-user tutorial covers chunk-size effects, monitoring chunks and tasks, rechunking cost, and read-time versus storage chunk choices, including the proposed examples and images.
由索引模型根據 Issue 內容生成。
描述
from the pangeo working meeting discussion with @mgrover1 @jmunroe @norlandrhagen
Here's an outline for an intermediate tutorial talking about dask chunking specifically for Xarray users
Motivation: why care about chunk size?
- demonstrate relation between chunk size and computation time / number of tasks with a simple example?
- maybe even memory usage
- https://tutorial.dask.org/02_array.html#Choosing-good-chunk-sizes
- https://docs.dask.org/en/stable/array-chunks.html
Keeping track
- monitoring chunk sizes and num tasks throughout the pipeline using the repr
- use some images
- while output blocks may be small (say after a big reduction), intermediate blocks need not be.
- So keep monitoring chunksizes (and tasks) throughout the pipeline.
Why is it important to choose appropriate chunks early in the pipeline?
- Demonstrate that rechunking is not cheap in most cases
Specify chunks when reading data
- Avoid
chunks="auto". - Specifying
chunksduring data readopen_datasetopen_mfdataset
- Analysis vs storage chunks:
- Dask chunks should be a multiple of chunks on disk
- talk about aligning chunks with files stored on disk
- @djhoese example
- 主要語言
- Jupyter Notebook
- 星號
- 204
- 分支
- 121
- PR 合併指標
- 30 天內沒有已合併 PR
貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
xarray-contrib/xarray-tutorial 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 75/100
-
help wanted
難度 4/5 3-5 天 新手友好度 48/100
xarray-contrib/xarray-tutorial#362 · 2 則留言 · 1 個 reaction ·
-
難度 2/5 1-3 小時 新手友好度 55/100
-
難度 5/5 一週以上 新手友好度 35/100
-
難度 4/5 3-5 天 新手友好度 38/100
查看 xarray-contrib/xarray-tutorial 的全部 Issue
相似的 Issue
-
bug needs triage p2
難度 2/5 1-3 小時 新手友好度 78/100
GoogleCloudPlatform/DataflowTemplates#4273 · 1 則留言 ·
-
難度 1/5 1 小時以內 新手友好度 90/100
-
correction metadata
難度 1/5 1 小時以內 新手友好度 72/100
acl-org/acl-anthology#10025 · 1 則留言 ·
-
bug
難度 2/5 1-3 小時 新手友好度 88/100
-
難度 2/5 1-3 小時 新手友好度 76/100