4paradigm / 4paradigm/OpenMLDB

count(*) over table in offline mode

Offen
#3,652 0 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @tobegit3hub Auf GitHub ansehen
batch-engine enhancement high-priority
Vorherrschende Sprache
C++
Sterne
1.7k
Forks
331
Ø Merge
12 T. 12 Std.
Gemergte PRs (30 T.)
1

Beschreibung

We don't support agg over table in offline mode, only online mode supports.
So if user wants to get offline data count, it's hard to do. Now user can run it on spark-shell/pyspark.
But if user can't prepare the spark env, it's better to enable sparksql in openmldb.

pass --spark_conf with option `spark.openmldb.sparksql`

P.S. user should know that not all openmldb sql can be run on spark engine.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Look for the offline mode execution path and the SQL parser. The issue mentions enabling sparksql via a spark.conf flag `spark.openmldb.sparksql`. Find where offline queries are routed and how to conditionally use Spark's SQL engine for aggregate functions like count(*). Check test files for offline query execution to understand the expected behavior.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
spark, sql
Bereich
backend, databases, machine-learning
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
45/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.