apache / apache/parquet-java

Push predicates into the whole read path

Aperta
#1,464 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Major Type: enhancement
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

Regarding primitive types, there are 3 import primitive types set:
- the file schema primitive type set
- the requested schema primitive type set
- the predicates primitive type set

Currently the file schema primitive type set and the requested schema primitive type set has been pushed into the whole read path, but not the the predicates primitive type set.

This brings some problems like:
- PARQUET-389, SPARK-11103, SPARK-11434
- PARQUET-425, PARQUET-426
- PARQUET-295

This issue propose to push the predicates primitive type set into the whole read path as well. When this is resolved, hopefully the issues listed above would also be resolved as well.

Attached is a change proposal.

**Reporter**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
**Assignee**: [Liwei Lin(Inactive)](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=proflin) / @lw-lin
#### Original Issue Attachments:
- [Parquet-427 v0.1.pdf](https://issues.apache.org/jira/secure/attachment/12782011/Parquet-427+v0.1.pdf)

**Note**: *This issue was originally created as [PARQUET-427](https://issues.apache.org/jira/browse/PARQUET-427). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia con la proposta di modifica Parquet-427 v0.1 allegata e traccia il modo in cui gli insiemi di tipi primitivi dello schema del file e dello schema richiesto attraversano già il percorso di lettura. Il lavoro è completato quando anche l’insieme di tipi primitivi dei predicati segue quel percorso e vengono affrontati i problemi correlati PARQUET-389, SPARK-11103, SPARK-11434, PARQUET-425, PARQUET-426 e PARQUET-295.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.