Move chunking utilities from HDF5Array to DelayedArray?

Đang mở
#93 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
r
Lĩnh vực
data

Hướng nghiên cứu

Bắt đầu bằng cách xác định setHDF5DumpChunkLength, setHDF5DumpChunkShape và các helper liên quan đến kích thước chunk tự động trong HDF5Array, sau đó so sánh những gì DelayedArray cung cấp để tái sử dụng. Xem xét các nhu cầu được đề xuất của TileDBArray, DelayedRandomArray và SparseArray, với issue #89 làm bối cảnh; hoàn tất khi thống nhất được một thiết kế chunking có thể tái sử dụng và hỗ trợ các backend này.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Here I'm talking about setHDF5DumpChunkLength, setHDF5DumpChunkShape, and whatever extra functions are used to auto-choose "sensible" chunk dimensions for the HDF5 arrays. Can these be moved to DelayedArray for re-use by other backends? I would then be able to use this in TileDBArray and DelayedRandomArray, and I imagine there would also be some kind of re-use for SparseArray. In addition to making backend development easier, it could also improve efficiency by ensuring that interactions between different backends involve the same chunk dimensions. An obvious example is #89, where we could encourage consistency in chunks between the RandomNormMatrix and HDF5Matrix for optimal writing speed.

Ngôn ngữ chính
R
Star
29
Fork
12
Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Bioconductor/DelayedArray

Tất cả issue của Bioconductor/DelayedArray

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.