ISISComputingGroup / ISISComputingGroup/DataStreaming

`filewriter`: decide where histogramming needs to occur

Aperta
#78 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Nessun dato sulla lingua
Stelle
0
Fork
0
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Histogram mode files are looking like they are a requirement for HRPD-X.

We need to decide at what point in the pipeline:
A) TCBs are actually specified for a histogram
B) A histogram file is created

We may be able to do this _after_ and event mode file is created, ie. by the filewriter, using a service like the FIA. Alternatively we could do it in the filewriter.

The streaming hardware does not currently have the capability to stream histograms so this should not be a consideration. It also becomes more of a challenge for propagating TCBs.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Start by tracing the pipeline points where TCBs are specified and where histogram files are created. Compare the filewriter path with the FIA-based alternative, keeping the streaming hardware limitation in scope. Done means the project has a decided location for histogramming and a clear approach to propagating TCBs.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Ambito
data-engineering, stream-processing
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.