apache / apache/parquet-java

[Vectorized Reader] Add attributes in ColumnVector and RowBatch

Offen
#1,852 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: task
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

As discussed in HIVE-8128, we want to add some attributes in vector.

- In `ColumnVector`, add two attributes: one is `boolean noNulls`, which indicates whether the whole column vector has no null value. The other is `boolean isRepeating`, which indicates whether the same value repeats for whole column vector. They could be calculated at the same time when we read a vector. SQL engines (like Hive) can check these attribute to skip some values.
- In `RowBatch`, add one attribute `int size`, which indicates the number of rows in this batch. This is just for easy usage. Its value should be the same as `RowBatch.columns\[0\].numValues`.

**Reporter**: [Dong Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dongc) / @dongc
**Assignee**: [Nezih Yigitbasi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=nezihyigitbasi) / @nezihyigitbasi

**Note**: *This issue was originally created as [PARQUET-333](https://issues.apache.org/jira/browse/PARQUET-333). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, ColumnVector, RowBatch und die Implementierung des vektorisierten Readers zu lokalisieren. Verfolge, wo Vektoren und Batches befüllt werden, und überprüfe anschließend, dass noNulls, isRepeating und size der angegebenen Semantik entsprechen und dass vorhandene Reader-Tests die resultierenden Metadaten abdecken.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.