apache / apache/parquet-java

Decrease the default page size to 64k

Ouverte
#1,757 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Impala uses 64k for a page size and recommends smaller page sizes over the current 1MB default. We're considering an absolute minimum row group size of 1MB, so it makes sense to dial the page size down a bit.

**Reporter**: [Ryan Blue](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=rdblue) / @rdblue

**Note**: *This issue was originally created as [PARQUET-216](https://issues.apache.org/jira/browse/PARQUET-216). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par localiser la définition de la taille de page par défaut et tous les tests couvrant les valeurs par défaut de la taille de page ou des groupes de lignes. La modification est terminée lorsque la valeur par défaut est réduite de 1MB à 64KB et que les tests concernés passent.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
2/5
Temps estimé
1-3 heures
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
42/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.