apache / apache/parquet-java

Throw Exception when predicate contains columns not specified in prejection, to prevent filtering out data improperly

Offen
#1,927 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Component: Java Component: Parquet Priority: Major Type: bug
Vorherrschende Sprache
Java
Sterne
3.1k
Forks
1.6k
Ø Merge
3 T. 12 Std.
Gemergte PRs (30 T.)
33

Beschreibung

As is reported by Parquet-425, data will be filtered out improperly under certain cases.

Before Parquet-425 is fixed, let's throw an Exception to warn the upper application that work-arounds should be done.

**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
#### Externally tracked issue: [https://issues.apache.org/jira/browse/PARQUET-425](https://issues.apache.org/jira/browse/PARQUET-425)

**Note**: *This issue was originally created as [PARQUET-426](https://issues.apache.org/jira/browse/PARQUET-426). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit der Durchsicht des Parquet-425-Berichts und des Verlaufs des zugehörigen PARQUET-426-Issues, um die betroffene Behandlung von Prädikaten und Projektionen zu identifizieren. Verfolge, wo Prädikate anhand projizierter Spalten ausgewertet werden, und überprüfe anschließend, dass Fälle mit nicht angegebenen Prädikatsspalten eine Ausnahme auslösen, statt Daten zu filtern; das Issue nennt keinen Datei- oder Testpfad.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.