Vectorized API to support Column Index in Apache Spark
- Vorherrschende Sprache
- Java
- Sterne
- 3.1k
- Forks
- 1.6k
- Ø Merge
- 3 T. 12 Std.
- Gemergte PRs (30 T.)
- 33
Beschreibung
As per the comment on https://issues.apache.org/jira/browse/SPARK-26345. Its seems like Apache Spark doesn't support Column Index until we disable vectorizedReader in Spark - which will have other performance implications. As per @zivanfi , parquet-mr should implement a Vectorized API. Is it already implemented or any pull request for the same?
**Reporter**: [Felix Kizhakkel Jose](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=FelixKJose) / @FelixKJose
**Note**: *This issue was originally created as [PARQUET-1830](https://issues.apache.org/jira/browse/PARQUET-1830). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Das Issue verweist auf SPARK-26345 und fragt, ob parquet-mr bereits über eine vektorisierte API oder einen zugehörigen Pull Request verfügt; beginne damit, die verknüpfte Diskussion zu prüfen und die aktuelle Implementierung von parquet-java zu untersuchen. Done ist nicht definiert, weil der Bericht fragt, ob Unterstützung vorhanden ist, statt eine konkrete Änderung zu spezifizieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- java
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 20/100