apache / apache/parquet-java

parquet-hive (and therefore Hive) depends on ParquetInputSplit constructor

Aperta
#1,545 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Major Type: bug
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

The issue is not really parquet-hive which we can modify in sync but rather Hive itself. As we want to be able to change the split implementation without breaking Hive. (Users might want to use the latest Parquet with their version of Hive)
[ParquetRecordReaderWrapper in parquet-hive](https://github.com/apache/incubator-parquet-mr/blob/647b8a70f9b7c94cabf9a7ec7bce2e7cbbb4c05b/parquet-hive/parquet-hive-storage-handler/src/main/java/org/apache/hadoop/hive/ql/io/parquet/read/ParquetRecordReaderWrapper.java#L223)
and in [Hive](https://github.com/apache/hive/blob/e58b9d273cb78bda2947148bc54f4befb2514241/ql/src/java/org/apache/hadoop/hive/ql/io/parquet/read/ParquetRecordReaderWrapper.java#L221)

**Reporter**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem
**Assignee**: [Julien Le Dem](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=julienledem) / @julienledem

**Note**: *This issue was originally created as [PARQUET-86](https://issues.apache.org/jira/browse/PARQUET-86). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Iniziate dalle posizioni citate di ParquetRecordReaderWrapper in parquet-hive e Hive, in particolare dall’uso del costruttore intorno alla riga 221/223. Tracciate come viene usato il costruttore di ParquetInputSplit in entrambi i progetti e definite il completamento come la possibilità di modificare l’implementazione dello split senza rompere Hive.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Refactoring
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.