4paradigm / 4paradigm/OpenMLDB

load data from parquet, poor performance for big datasets

オープン
#3,396 コメント 2 件 リアクション 0 件 担当者 2 名 @vagetablechicken が担当を希望しています GitHub で見る
batch-engine bug high-priority
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

parquet file is 3.5G, and possibly 35G in memory. load data from parquet into online storage, spark bootstrap the job, starting 30min and fails of OOM.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

The issue mentions loading a large Parquet file (3.5G, potentially 35G in memory) via Spark into OpenMLDB, with OOM failures after 30 minutes. Start by examining the Spark integration code and memory management for data ingestion. Look for configuration options or limits on chunk size or streaming reads. Determine what 'done' looks like by verifying the data loads without OOM and within a reasonable time.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
spark
領域
data-engineering, databases, performance
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。