apache / apache/parquet-java

Schema creation from another schema will not be possible - deprecated

Đang mở
#2,351 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

Imagine I have a current schema and want to create a projection schema from that. One option is the schema.Types.\*Builder but the more direct version would be to clone the schema itself without children.

`List l = new ArrayList<>();`
` for (String c : childmappings.keySet()) {`
`  Mapping m = childmappings.get(c);`
`  l.add(m.getProjectionSchema());`
` `}
` GroupType gt = new GroupType(schema.getRepetition(), schema.getName(), schema.getOriginalType(), l);`

 

The last line, the new GroupType(..) constructor is deprecated. We should use the version with the LogicalTypeAnnotation instead. Fine. But how do you get the LogicalTypeAnnotation  from an existing schema?

I feel you should not deprecate these methods and if, provide an extra method to create a Type column from a type column (column alone, without children. Else the projection would have all child columns).

 

Do you agree?

 

**Reporter**: [Werner Daehn](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=wdaehn) / @wernerdaehn

**Note**: *This issue was originally created as [PARQUET-1620](https://issues.apache.org/jira/browse/PARQUET-1620). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu bằng cách đọc các overload của hàm dựng GroupType và các API schema.Types.*Builder và LogicalTypeAnnotation được tham chiếu trong issue. Kiểm tra tài liệu migration được liên kết và cách sử dụng projection schema hiện có để xác định hướng được hỗ trợ. Được xem là hoàn tất khi mối lo ngại về deprecation và việc tạo một schema type không có phần tử con được giải quyết hoặc được ghi tài liệu rõ ràng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
java
Lĩnh vực
data-engineering
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.