apache / apache/parquet-java

Skip the storage of repetition level and definition level for all-null column

Aperta
#2,022 5 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Component: Java Component: Parquet Priority: Minor Type: enhancement
Lingua principale
Java
Stelle
3.1k
Fork
1.6k
Merge medio
3g 12h
PR unite (30g)
33

Descrizione

I have a very sparse protobuf message in my project, with thousands of fields.
In practise, most of the fields are all null values in one page.
But the repetition level and definition level takes lots of storage space.
Can parquet skip the storage of r level and d level for such all-null columns to save storage space?

**Reporter**: [Li](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=lirui-tx)

**Note**: *This issue was originally created as [PARQUET-792](https://issues.apache.org/jira/browse/PARQUET-792). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Nell’issue non vengono indicati file, test o punti di ingresso. Inizia individuando il codice Java che codifica i livelli di ripetizione e definizione, quindi esamina i test esistenti per le colonne con tutti i valori null. Il lavoro è completato quando sono disponibili un’implementazione concordata e una copertura di regressione per evitare l’archiviazione dei livelli nel caso descritto.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
databases
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.