AbsaOSS / AbsaOSS/cobrix

Optimization of input file split

Đang mở
#585 4 bình luận 0 reaction 0 người được giao Xem trên GitHub
enhancement
Ngôn ngữ chính
Scala
Star
170
Fork
96
Merge trung bình
57 phút
Pull request đã merge (30 ngày)
2

Mô tả

## Background
I have fixed length of 200 bytes file with 100 multi segments present in copybook with 2k columns. It is taking almost 12 hours for just 1gb of file.
## Feature

Can you add feature for input file split in mb for all file formats, currently it is working for record format =VB, where input_split_size_mb

I tried to adjust block size in spark code, but cobrix taking default cluster block size.

## Proposed Solution [Optional]
Solution Ideas
1. Allow this input_split_size_mb for all file formats
2. How to take custom block size specified in spark configuration.
Ex:spark.conf.set(“dfs.blocksize”,”32m”)

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.