[Vectorized Reader] Add attributes in ColumnVector and RowBatch
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
As discussed in HIVE-8128, we want to add some attributes in vector.
- In `ColumnVector`, add two attributes: one is `boolean noNulls`, which indicates whether the whole column vector has no null value. The other is `boolean isRepeating`, which indicates whether the same value repeats for whole column vector. They could be calculated at the same time when we read a vector. SQL engines (like Hive) can check these attribute to skip some values.
- In `RowBatch`, add one attribute `int size`, which indicates the number of rows in this batch. This is just for easy usage. Its value should be the same as `RowBatch.columns\[0\].numValues`.
**Reporter**: [Dong Chen](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=dongc) / @dongc
**Assignee**: [Nezih Yigitbasi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=nezihyigitbasi) / @nezihyigitbasi
**Note**: *This issue was originally created as [PARQUET-333](https://issues.apache.org/jira/browse/PARQUET-333). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, ColumnVector, RowBatch und die Implementierung des vektorisierten Readers zu lokalisieren. Verfolge, wo Vektoren und Batches befüllt werden, und überprüfe anschließend, dass noNulls, isRepeating und size der angegebenen Semantik entsprechen und dass vorhandene Reader-Tests die resultierenden Metadaten abdecken.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100