GatherToNpy/Zarr could pre-allocate stores when number of spike is known

Aperta
#4,787 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
55/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
data, performance

Direzione di ricerca

Start with the linked pull request discussion and the GatherToNpy and GatherToZarr implementations, then inspect how PeakRetriever and SpikeRetriever expose known spike counts. Done means known-size pipelines pre-allocate their arrays and write to exact locations, while unknown-size pipelines retain sequential chunk writing; verify the resulting performance and storage behavior.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

performance

See https://github.com/SpikeInterface/spikeinterface/pull/4703#discussion_r4024420813

Currently the GatherToNpy and GatherToZarr sequentially write chunk of pipeline data as they are available. While this is needed when we don't know the number of peaks per chunk, in cases when this is known (ie. the pipeline has a PeakRetriever or SpikeRetriever), the gather classes could pre-allocate the entire arrays and write to the exact location. This would speed things up especially for zarr, since the current implementation might require a lot of rechunking under the hood

Lingua principale
Python
Stelle
847
Fork
280
Merge medio
3g 9h
PR unite (30g)
29

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di SpikeInterface/spikeinterface

Tutte le issue di SpikeInterface/spikeinterface

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.