AbsaOSS / AbsaOSS/enceladus

Data partitioning

Offen
#1,961 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Conformance Epic Menas priority: high Standardization
Vorherrschende Sprache
Scala
Sterne
33
Forks
16
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

## Background
Sometimes the data coming in into Enceladus are not well partitioned.

## Goal
Make Enceladus to output data files in effective sizes to well leverage partioning

## Expected Task List
A list of expected issues that will be needed to achieve this Epic
- investigate the problematic data
- create the library
- enhance dataset data model with `recordsPerPartition` value
- optional dataset setting
- heuristic based on anylysis to be saved
- implement partitioning by record count
- warning if partition size is over limit
- warning if record count is off

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.