AbsaOSS / AbsaOSS/spark-partition-sizing
Add skew suppression in `DataFramePartitioner`
オープン
enhancement
- 主要言語
- Scala
- スター
- 9
- フォーク
- 2
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
## Background
The partitions can be within the required limits provided to `DataFramePartitioner` repatriating methods. But they can still be very non-uniform in size.
## Feature
Add the possibility to suppress such size skews when the repartitions are requested.
## Proposed Solution
Solution Ideas:
1. Seems _standard variation_ would be a good measure for that.
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
評価
この issue はまだ評価されていません。