AbsaOSS / AbsaOSS/spark-partition-sizing

Implement `RecordSizer.fromDirectorySize` method

Ouverte
#6 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Scala
Étoiles
9
Forks
2
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

## Background
To be able to get the average record size based on the data output in the provided directory.

## Feature
Implement `RecordSizer.fromDirectorySize` method

## Proposed Solution [Optional]
Read the directory size similarly as Enceladus does, then read the data to get the record count.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.