apache / apache/datafusion

Support parquet statistics for struct columns

Aperta
#8,334 9 commenti 1 reazione 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Rust
Stelle
9.3k
Fork
2.4k
Merge medio
3g 11h
PR unite (30g)
360

Descrizione

### Is your feature request related to a problem or challenge?

While working on https://github.com/apache/arrow-datafusion/pull/8294 @tustvold noted that the statistics extraction code does not do the right thing with `Struct`s that were written to parquet

I think the usecase is something like the following query:

```sql
SELECT *
FROM my_table
WHERE struct_column = struct('foo', 'bar')
```

### Describe the solution you'd like

I would like the parquet statistics reading code to handle structs (I think).

### Describe alternatives you've considered

_No response_

### Additional context

_No response_

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia tracciando il codice di estrazione e lettura delle statistiche parquet, concentrandoti su come vengono gestite le colonne struct. Riproduci il problema con l’esempio SQL nella descrizione, quindi verifica che le statistiche per le colonne struct supportino il filtro di uguaglianza struct senza risultati errati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
rust, sql
Ambito
databases
Tipo di issue
Funzionalità
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.