4paradigm / 4paradigm/OpenMLDB

load data: load parquet to online, unable to ensure correctness

Đang mở
#3,424 0 bình luận 0 reaction 2 người được giao Được @vagetablechicken nhận Xem trên GitHub
batch-engine bug high-priority
Ngôn ngữ chính
C++
Star
1.7k
Fork
331
Merge trung bình
12 ngày 12 giờ
Pull request đã merge (30 ngày)
1

Mô tả

load data can't ensure correctness: insert more rows to online than parquet file

Steps:
1. load data from parquet ( 600 million rows, 3.5 G parquet file in disk, 300 parquet files total )
2. with spark local, driver memory: 64G, max task in parallel: 8
3. spark will split job into 50 tasks, and 8 tasks one time
4. tasks might fail due to `IOException`, rpc to tablet server timeout of 20s
5. spark sees to retry the whole job (50 tasks), result in insert data from parquet double times

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

The issue describes a data loading correctness problem in OpenMLDB involving Spark jobs and Parquet files. Look at the load data flow, likely in the Spark connector or ingestion module, focusing on task failure handling and retry logic. Check for idempotency mechanisms and RPC timeout configurations to tablet servers. Running a test with a smaller dataset to reproduce the duplicate insertion would be a first step.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
spark
Lĩnh vực
data-engineering, databases
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.