AbsaOSS / AbsaOSS/spark-partition-sizing
In `DataFramePartitioner.DataFrameFunctions.repartitionByRecordCount` use max instead of average to decide about partitoing
Aberta
enhancement
- Linguagem predominante
- Scala
- Estrelas
- 9
- Forks
- 2
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
## Background
In `DataFramePartitioner.DataFrameFunctions.repartitionByRecordCount` the limit is compared against the average of records per partition. That can be under the limit while some partitions are still over the limit.
## Feature
Change the method to decide about portioning based on the `max` of record counts per partition if to do or not the repartitioing.
Or make this parametrized or a dedicated method.
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Avaliação
Esta issue ainda não foi avaliada.