agentm / agentm/project-m36

examine optimizations for projection

Offen
#180 3 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @agentm Auf GitHub ansehen
Vorherrschende Sprache
Haskell
Sterne
952
Forks
50
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Based on new benchmarks, projection is unnecessarily expensive. Projection on 1000 tuples take 50 seconds, which is really excessive. Profiling reveals that duplicate tuple detection (tuple hashing) is the cause.

Some potential optimizations are:

* elimination of deduplication on projection on key attributes - if the attributes passed in cover a candidate key, then no deduplication (hashing) is required
* replacing relFold + union with something targeting tuples instead of relations
* deferring deduplication until the projection is complete
* bloom filters for the hash values as a first pass

Are there some other ideas?

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.