4paradigm / 4paradigm/OpenMLDB

Spark job is trigger when compiling SQL with offline engine

オープン
#2,880 コメント 3 件 リアクション 0 件 担当者 1 名 @tobegit3hub が担当を希望しています GitHub で見る
batch-engine bug
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

Now it takes much time to compile SQL and the data is processed even if getting output dataframe.

image

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

The issue mentions a Spark job being triggered during SQL compilation with the offline engine, causing unnecessary data processing and slow compilation. Look at the SQL compilation path in the offline engine code, likely in the Spark-related modules. Identify where the job is being inadvertently triggered and ensure compilation does not execute data processing. Check existing tests for SQL compilation to verify the fix.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
spark, sql
領域
databases, machine-learning, performance
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。