apache / apache/parquet-java

[Vectorized Reader] ColumnVector length should be in terms of rows, not DataPages

Offen
#1,439 7 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: task
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

In https://github.com/zhenxiao/incubator-parquet-mr/tree/vector
ColumnVector length is in terms of DataPages, need to be in terms of rows

**Reporter**: [Zhenxiao Luo](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=zhenxiao) / @zhenxiao
**Assignee**: [Nezih Yigitbasi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=nezihyigitbasi) / @nezihyigitbasi
#### PRs and other links:
- [PR-257](https://github.com/apache/parquet-mr/pull/257)

**Note**: *This issue was originally created as [PARQUET-299](https://issues.apache.org/jira/browse/PARQUET-299). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit dem im Issue verlinkten vector-Branch und untersuche die Implementierung von ColumnVector, um nachzuverfolgen, wie seine length berechnet wird. Bestätige, dass length in Zeilen statt in DataPages angegeben wird, und verwende anschließend PR-257 und die vorhandene Testabdeckung, um das erwartete Verhalten zu überprüfen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
20/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.