AbsaOSS / AbsaOSS/enceladus

Data partitioning

オープン
#1,961 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
Conformance Epic Menas priority: high Standardization
主要言語
Scala
スター
33
フォーク
16
PR マージ指標
30日以内にマージされた PR はありません

説明

## Background
Sometimes the data coming in into Enceladus are not well partitioned.

## Goal
Make Enceladus to output data files in effective sizes to well leverage partioning

## Expected Task List
A list of expected issues that will be needed to achieve this Epic
- investigate the problematic data
- create the library
- enhance dataset data model with `recordsPerPartition` value
- optional dataset setting
- heuristic based on anylysis to be saved
- implement partitioning by record count
- warning if partition size is over limit
- warning if record count is off

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。