4paradigm / 4paradigm/OpenMLDB

load data: load parquet to online, unable to ensure correctness

オープン
#3,424 コメント 0 件 リアクション 0 件 担当者 2 名 @vagetablechicken が担当を希望しています GitHub で見る
batch-engine bug high-priority
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

load data can't ensure correctness: insert more rows to online than parquet file

Steps:
1. load data from parquet ( 600 million rows, 3.5 G parquet file in disk, 300 parquet files total )
2. with spark local, driver memory: 64G, max task in parallel: 8
3. spark will split job into 50 tasks, and 8 tasks one time
4. tasks might fail due to `IOException`, rpc to tablet server timeout of 20s
5. spark sees to retry the whole job (50 tasks), result in insert data from parquet double times

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

The issue describes a data loading correctness problem in OpenMLDB involving Spark jobs and Parquet files. Look at the load data flow, likely in the Spark connector or ingestion module, focusing on task failure handling and retry logic. Check for idempotency mechanisms and RPC timeout configurations to tablet servers. Running a test with a smaller dataset to reproduce the duplicate insertion would be a first step.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
spark
領域
data-engineering, databases
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。