dask chunking tutorial outline
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
- Type d'issue
- Documentation
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Domaine
- data, documentation
Piste de recherche
Review the linked Dask chunking resources and the repository's existing tutorial structure first; no target file is named in the issue. Done means an intermediate Xarray-user tutorial covers chunk-size effects, monitoring chunks and tasks, rechunking cost, and read-time versus storage chunk choices, including the proposed examples and images.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
from the pangeo working meeting discussion with @mgrover1 @jmunroe @norlandrhagen
Here's an outline for an intermediate tutorial talking about dask chunking specifically for Xarray users
Motivation: why care about chunk size?
- demonstrate relation between chunk size and computation time / number of tasks with a simple example?
- maybe even memory usage
- https://tutorial.dask.org/02_array.html#Choosing-good-chunk-sizes
- https://docs.dask.org/en/stable/array-chunks.html
Keeping track
- monitoring chunk sizes and num tasks throughout the pipeline using the repr
- use some images
- while output blocks may be small (say after a big reduction), intermediate blocks need not be.
- So keep monitoring chunksizes (and tasks) throughout the pipeline.
Why is it important to choose appropriate chunks early in the pipeline?
- Demonstrate that rechunking is not cheap in most cases
Specify chunks when reading data
- Avoid
chunks="auto". - Specifying
chunksduring data readopen_datasetopen_mfdataset
- Analysis vs storage chunks:
- Dask chunks should be a multiple of chunks on disk
- talk about aligning chunks with files stored on disk
- @djhoese example
- Langage dominant
- Jupyter Notebook
- Étoiles
- 204
- Forks
- 121
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Guide de contribution
Ouvrir le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de xarray-contrib/xarray-tutorial
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
-
help wanted
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
xarray-contrib/xarray-tutorial#362 · 2 commentaires · 1 réaction ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 55/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
-
Difficulté 4/5 3-5 jours Accessibilité débutants 38/100
Toutes les issues de xarray-contrib/xarray-tutorial
Issues similaires
-
bug needs triage p2
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
GoogleCloudPlatform/DataflowTemplates#4273 · 1 commentaire ·
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
-
correction metadata
Difficulté 1/5 Moins d'une heure Accessibilité débutants 72/100
acl-org/acl-anthology#10025 · 1 commentaire ·
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
-
indexing issue in correct_cte Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100