AbsaOSS / AbsaOSS/spark-partition-sizing

Add skew suppression in `DataFramePartitioner`

オープン
#13 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Scala
スター
9
フォーク
2
PR マージ指標
30日以内にマージされた PR はありません

説明

## Background
The partitions can be within the required limits provided to `DataFramePartitioner` repatriating methods. But they can still be very non-uniform in size.

## Feature
Add the possibility to suppress such size skews when the repartitions are requested.

## Proposed Solution
Solution Ideas:
1. Seems _standard variation_ would be a good measure for that.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。