AbsaOSS / AbsaOSS/cobrix

Optimization of input file split

オープン
#585 コメント 4 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Scala
スター
170
フォーク
96
平均マージ
57分
マージ済み PR(30日)
2

説明

## Background
I have fixed length of 200 bytes file with 100 multi segments present in copybook with 2k columns. It is taking almost 12 hours for just 1gb of file.
## Feature

Can you add feature for input file split in mb for all file formats, currently it is working for record format =VB, where input_split_size_mb

I tried to adjust block size in spark code, but cobrix taking default cluster block size.

## Proposed Solution [Optional]
Solution Ideas
1. Allow this input_split_size_mb for all file formats
2. How to take custom block size specified in spark configuration.
Ex:spark.conf.set(“dfs.blocksize”,”32m”)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。