ISISComputingGroup / ISISComputingGroup/DataStreaming

`filewriter`: `selog/EPICS_PUTLOG`

Đang mở
#91 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
filewriter
Ngôn ngữ chính
Không có dữ liệu ngôn ngữ
Star
0
Fork
0
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

The current `.nxs` files contain the EPICS putlog as a string-typed `selog` entry.

The baseline assumption is that the putlog entries will be streamed to a dedicated Kafka topic as a [`vs00`](https://github.com/ess-dmsc/streaming-data-types/blob/master/schemas/vs00_strings.fbs) or similar schema, by some separate process to-be-written.

This requirement is low-priority for the immediate future, but we should still consider supporting it long term.

## Questions

The ISISICP currently writes strings in a way that is not nexus-compliant.
* Do we want to continue to do that?
* There is a new NXtextlog nexus class for storing string-logs: https://github.com/nexusformat/definitions/pull/1590 . But will using that cause problems for Mantid?

## Potential differences from existing files

- Some of the PV names (particularly the DAE PVs) will be different in the datastreaming system, and may not be captured in the CA putlog as they are served over PVA instead. For example if downstream analysis is expecting to be able to parse strings like `Changed PV: IN:SANS2D:DAE:BEGINRUNEX new=0 old=0 ` from this log, then that would no longer be valid.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Start by examining how the current .nxs files represent the string-typed selog EPICS putlog, then compare the proposed vs00 Kafka representation with the NXtextlog Nexus class. Resolve whether the format remains Nexus-compliant and compatible with Mantid, including the listed PV-name differences; done means the long-term storage and streaming approach is decided.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
kafka
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.