Emit and Read min/max statistics for int96 timestamp columns
- Lingua principale
- Java
- Stelle
- 3.1k
- Fork
- 1.6k
- Merge medio
- 3g 12h
- PR unite (30g)
- 33
Descrizione
### Describe the enhancement requested
Parquet-java does not emit or read stats for int96 timestamp columns. Since int96 is used as the default timestamp in spark, this limits a lot of optimization opportunities. Engines like [Photon](https://www.databricks.com/product/photon) populate the statistics for the int96 timestamps correctly. So parquet-java coud also emit the statistics, and also allow reading these statistics from known good writers.
### Component(s)
_No response_
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia tracciando la gestione esistente delle statistiche di parquet-java per le colonne timestamp e confronta la rappresentazione min/max attesa di int96 con il comportamento di writer noti per essere corretti, come Photon. Il lavoro è completato quando parquet-java emette e legge statistiche min/max corrette per le colonne timestamp int96, con copertura per entrambi i percorsi.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java
- Ambito
- data-engineering
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 38/100