Parquet Statistics Pruning Ignores ColumnOrder, resulting in potentially incorrect statistics
Offen
@kumarUjjawal arbeitet bereits daran.
Seit 11.5.2026.
bug
- Vorherrschende Sprache
- Rust
- Sterne
- 9.3k
- Forks
- 2.4k
- Ø Merge
- 3 T. 11 Std.
- Gemergte PRs (30 T.)
- 360
Beschreibung
### Describe the bug
The statistics are only valid if interpreted in the context of [ColumnOrder](https://docs.rs/parquet/latest/parquet/basic/enum.ColumnOrder.html), otherwise the results are not necessarily correct
The `ColumnOrder` field in Parquet statistics says what ordering was used to compute the min/max values and seems not to be widely used or populated in the eco system. However, ignoring it when it is present is probably wrong
### To Reproduce
_No response_
### Expected behavior
_No response_
### Additional context
_No response_
Beitragsleitfaden
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Bewertung
Dieses Issue wurde noch nicht bewertet.