AbsaOSS / AbsaOSS/spark-partition-sizing

In `DataFramePartitioner.DataFrameFunctions.repartitionByRecordCount` use max instead of average to decide about partitoing

Aberta
#14 0 comentários 0 reações 0 responsáveis Ver no GitHub
enhancement
Linguagem predominante
Scala
Estrelas
9
Forks
2
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

## Background
In `DataFramePartitioner.DataFrameFunctions.repartitionByRecordCount` the limit is compared against the average of records per partition. That can be under the limit while some partitions are still over the limit.

## Feature
Change the method to decide about portioning based on the `max` of record counts per partition if to do or not the repartitioing.
Or make this parametrized or a dedicated method.

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Avaliação

Esta issue ainda não foi avaliada.

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.