BIT_PACKING is written by default when Definition or Repetition levels are empty
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
As discussed in https://github.com/apache/arrow/discussions/47113 , this package is writing the deprecated BIT_PACKING encoding to the column metadata and the DataPageHeader. This is only seems to happens when rep/def levels are empty. I think this is where it's happening:
```java
public class DevNullValuesWriter extends ValuesWriter {
....
public Encoding getEncoding() {
return BIT_PACKED;
}
}
```
Wouldn't it make sense to just return RLE?
I've seen this in parquet-java 1.15.1 and Overture Maps files using 1.13.1.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia individuando DevNullValuesWriter e analizzando la sua implementazione di getEncoding(), quindi traccia il percorso con cui quel valore raggiunge i metadati della colonna e DataPageHeader. Verifica che i livelli di ripetizione e definizione vuoti non producano più la codifica BIT_PACKED deprecata e utilizzino invece RLE.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Bug
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 48/100