apache / apache/pulsar-client-node
Add method to get the schema (version) used for serialization of a message
- Ngôn ngữ chính
- C++
- Star
- 164
- Fork
- 98
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
There are client libraries for other languages (e.g. java) that support automatic (de)serialization of message data based on a schema (https://pulsar.apache.org/docs/3.1.x/schema-overview/).
The node client does not have this feature yet (https://github.com/apache/pulsar-client-node/issues/242).
In theory it should be possible to deserialize the message data manually, BUT...
Some serialization formats like Avro require to know the exact schema that was used for serialization (https://github.com/mtth/avsc/issues/447). In order to deal with schema evolution the client needs to know it's own compatible schema AND the schema used for serialization.
As far I understand, the automatic (de)serialization feature of Pulsar solves this problem by keeping a schema registry and tagging the messages with the used schema version.
If I understand right, the node client does not provide a method to get the schema used for serialization and not even a method to get the schema version of a message.
Assuming the need for schema evolution, this makes it impossible to deserialize reliably messages written by a java client library using an Avro schema,
I'm new to Pulsar and Avro, so please forgive (and correct) me if my understanding is wrong.
If my understanding is right, I wonder how difficult it would be to add a method to lookup the serialization schema on an message.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với phần tổng quan về schema của Pulsar và issue node-client được liên kết để xác minh cách các phiên bản schema được đính kèm vào message và liệu Node client có cung cấp chúng hay không. Xác định API cần thiết để truy xuất schema hoặc phiên bản serialization, sau đó xác nhận rằng API đó hỗ trợ deserialization Avro đáng tin cậy trong quá trình schema evolution.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- javascript, nodejs
- Lĩnh vực
- distributed-systems
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100