4paradigm / 4paradigm/OpenMLDB

`load data` in cluster mode may cause out-of-order insertion, leading poor performance for long window

オープン
#2,544 コメント 1 件 リアクション 0 件 担当者 1 名 @zhanghaohit が担当を希望しています GitHub で見る
bug
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

**Bug Description**
if `spark` is configured with multiple threads, say `local[*]` or `local[32]`, data loading will run in parallel, causing out-of-order loading.

It is ok for normal data insertion. But `long window optimization` requires that data is loaded mostly in order.

**Potential solution**
- remove the `in order loading` requirement for `long window`, by deleting the old entry and inserting the new one in the pre-aggr table.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

The issue relates to the 'load data' operation in cluster mode and its interaction with long window optimization. Investigate the data loading path in the codebase, particularly looking for parallel execution logic. Examine the long window optimization implementation to understand the in-order requirement. Check if there are existing tests for data loading or window performance to verify changes.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
spark
領域
databases, performance
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。