AbsaOSS / AbsaOSS/cobrix

Add the ability to reassemble a multi-segment file

Đang mở
#612 0 bình luận 0 reaction 1 người được giao Được @yruslan nhận Xem trên GitHub
enhancement
Ngôn ngữ chính
Scala
Star
170
Fork
96
Merge trung bình
57 phút
Pull request đã merge (30 ngày)
2

Mô tả

## Background
Multisegment files often have this structure:
```
file header record
segment header record
main segment record
child1 segment record
child2 segment record
...
segment footer record
segment header record
main segment record
child1 segment record
child2 segment record
...
segment footer record
file footer record
```

## Feature
Implement options that would allow reassembling multiple segment into records like this:
```
file header | segment header | main segment | child1 segment | child2 segment | segment footer | file footer
file header | segment header | main segment | child1 segment | child2 segment | segment footer | file footer
file header | segment header | main segment | child1 segment | child2 segment | segment footer | file footer
```

Not every type of segment should be present. The only mandatory segment is the main segment of a record.

## Proposed Solution
This kind of processing is possible using windowing functions. But this can be very slow.

Adding support for such a processing on the record reader level can significantly improve the performance.

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.