apache / apache/parquet-java

Fix the bug when predicate contains columns not specified in prejection, to prevent filtering out data improperly

Offen
#1,926 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

As is reported in Parquet-427, data will be filtered out improperly under the case where:
1. predicates - requested schema ≠ ∅
2. predicates - file schema = ∅

To give an example:
data:

|a|b|
|-|-|
|1|1|
|2|2|
|3|3|

file schema: a,b, requested schema: a, and predicate: b = 1

we should get:

|a|
|-|
|1|

but we'll end up get nothing, which is wrong.

This issue proposes to fix this.

**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin

**Note**: *This issue was originally created as [PARQUET-425](https://issues.apache.org/jira/browse/PARQUET-425). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie mit dem Lesen des verlinkten Parquet-427-Berichts und reproduzieren Sie das Beispiel des Issues mit dem Dateischema a,b, dem angeforderten Schema a und dem Prädikat b = 1. Es wird keine Quelldatei oder kein Test genannt; abgeschlossen ist die Aufgabe, wenn das Ergebnis die Zeile mit a = 1 beibehält, anstatt alle Daten herauszufiltern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
databases
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.