apache / apache/datafusion-benchmarks
Floats in TPC-DS data
Offen
- Vorherrschende Sprache
- Python
- Sterne
- 23
- Forks
- 19
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Integer columns have `double` type in TPC-DS.
This leads to some planning weirdness in DataFusion, as it can not estimate cardinality based on float datatypes.
We should keep the original types.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Untersuche, wie die TPC-DS-Datenschemata erzeugt oder konvertiert werden, und verfolge anschließend, an welcher Stelle ganzzahlige Spalten für DataFusion zu double werden. Erledigt ist die Aufgabe, wenn der Benchmark die ursprünglichen Ganzzahltypen beibehält und sie nicht mehr als Gleitkommadaten darstellt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- data-engineering, databases
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 55/100