AbsaOSS / AbsaOSS/spark-partition-sizing
Add skew suppression in `DataFramePartitioner`
Đang mở
enhancement
- Ngôn ngữ chính
- Scala
- Star
- 9
- Fork
- 2
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
## Background
The partitions can be within the required limits provided to `DataFramePartitioner` repatriating methods. But they can still be very non-uniform in size.
## Feature
Add the possibility to suppress such size skews when the repartitions are requested.
## Proposed Solution
Solution Ideas:
1. Seems _standard variation_ would be a good measure for that.
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Đánh giá
Issue này chưa được đánh giá.