Move chunking utilities from HDF5Array to DelayedArray?

Abierto
#93 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Refactorización
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
r
Área
data

Línea de trabajo

Comienza localizando setHDF5DumpChunkLength, setHDF5DumpChunkShape y los helpers relacionados de dimensiones automáticas de chunks en HDF5Array; después, compara qué expone DelayedArray para su reutilización. Revisa las necesidades propuestas de TileDBArray, DelayedRandomArray y SparseArray, tomando issue #89 como contexto; se considera terminado cuando se acuerde un diseño de chunking reutilizable que admita estos backends.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Here I'm talking about setHDF5DumpChunkLength, setHDF5DumpChunkShape, and whatever extra functions are used to auto-choose "sensible" chunk dimensions for the HDF5 arrays. Can these be moved to DelayedArray for re-use by other backends? I would then be able to use this in TileDBArray and DelayedRandomArray, and I imagine there would also be some kind of re-use for SparseArray. In addition to making backend development easier, it could also improve efficiency by ensuring that interactions between different backends involve the same chunk dimensions. An obvious example is #89, where we could encourage consistency in chunks between the RandomNormMatrix and HDF5Matrix for optimal writing speed.

Lenguaje dominante
R
Estrellas
29
Forks
12
Métricas de merge de PR
Sin PR fusionados en 30 d

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de Bioconductor/DelayedArray

Todos los issues de Bioconductor/DelayedArray

Issues similares

Más issues de R

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.