apache / apache/parquet-java

[Vectorized Reader] Add attributes in ColumnVector and RowBatch

Ouverte
#1,852 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Major Type: task
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

As discussed in HIVE-8128, we want to add some attributes in vector.

- In `ColumnVector`, add two attributes: one is `boolean noNulls`, which indicates whether the whole column vector has no null value. The other is `boolean isRepeating`, which indicates whether the same value repeats for whole column vector. They could be calculated at the same time when we read a vector. SQL engines (like Hive) can check these attribute to skip some values.
- In `RowBatch`, add one attribute `int size`, which indicates the number of rows in this batch. This is just for easy usage. Its value should be the same as `RowBatch.columns\[0\].numValues`.

**Reporter**: [Dong Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dongc) / @dongc
**Assignee**: [Nezih Yigitbasi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=nezihyigitbasi) / @nezihyigitbasi

**Note**: *This issue was originally created as [PARQUET-333](https://issues.apache.org/jira/browse/PARQUET-333). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par localiser ColumnVector, RowBatch et l’implémentation du lecteur vectorisé. Suivez où les vecteurs et les batches sont remplis, puis vérifiez que noNulls, isRepeating et size correspondent à la sémantique indiquée et que les tests existants du lecteur couvrent les métadonnées obtenues.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering
Type d'issue
Fonctionnalité
Difficulté
3/5
Temps estimé
1-2 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.