apache / apache/beam

PubSubIO.readAvros should produce a schema'd PCollection if clazz has a schema

Đang mở
#19,829 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
gcp improvement io java P3
Ngôn ngữ chính
Java
Star
8.7k
Fork
4.7k
Merge trung bình
2 ngày 9 giờ
Pull request đã merge (30 ngày)
202

Mô tả

Currently `PubsubIO.readAvros(clazz)` *always* yields a PCollection with an AvroCoder. This should only be a fallback in the event that no coder can be inferred. That way if we can infer a schema for `clazz` we will produce a PCollection with a schema.

Imported from Jira [BEAM-8330](https://issues.apache.org/jira/browse/BEAM-8330). Original Jira may contain additional context.
Reported by: bhulette.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu tại entry point Java PubsubIO.readAvros(clazz) và kiểm tra cách coder của nó được chọn. Kiểm tra các test PubSubIO hiện có để tìm các assertions về coder hoặc schema. Hoàn thành khi một class có schema có thể suy luận tạo ra một schema-backed PCollection, trong khi AvroCoder vẫn là fallback khi không thể suy luận được coder nào.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
api
Loại issue
Tính năng
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.