4paradigm / 4paradigm/OpenMLDB

spark load data(online&offline), the blank value in the data will become null

オープン
#2,459 コメント 3 件 リアクション 0 件 担当者 1 名 @vagetablechicken が担当を希望しています GitHub で見る
bug high-priority storage-engine
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

**Bug Description**
When using load data to import data in CSV format, the empty string in the data will become null
![bbc42822e5496834964e8270e7cdcbb7](https://user-images.githubusercontent.com/18275570/189319963-ea3fe480-2661-46a9-a7a1-14cf81a2d055.png)

select into result:
9667b640bdc199847a35f6e0654691bf

**Expected Behavior**

**Relation Case**
test_select_into_load_data.yaml id:0-1. 0-2、18-2、62

**Steps to Reproduce**
```sql
create table auto_YuMSwEvO(
id int,
c1 string,
c2 smallint,
c3 int,
c4 bigint,
c5 float,
c6 double,
c7 timestamp,
c8 date,
c9 bool,
index(key=(c1),ts=c7))options(partitionnum=1,replicanum=1);
insert into auto_YuMSwEvO values
(3,'',3,22,32,1.3,2.3,1590738991000,'2020-05-03',true);
create table auto_FwREKcjN(
id int,
c1 string,
c2 smallint,
c3 int,
c4 bigint,
c5 float,
c6 double,
c7 timestamp,
c8 date,
c9 bool,
index(key=(c1),ts=c7))options(partitionnum=1,replicanum=1);
set @@SESSION.execute_mode = "online";
select * from auto_YuMSwEvO into outfile '/Users/zhaowei/code/4paradigm/OpenMLDB/auto_YuMSwEvO.csv' ;
LOAD DATA INFILE 'file:///Users/zhaowei/code/4paradigm/OpenMLDB/auto_YuMSwEvO.csv' into table auto_FwREKcjN options(mode='append');
```

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

The issue involves CSV data loading where empty strings become NULL. Look at the Spark load data path in OpenMLDB, likely in the Spark connector or data import modules. Check the test case referenced (test_select_into_load_data.yaml) to understand the expected behavior. Reproduce the bug using the provided SQL steps, then examine how CSV parsing handles empty values versus nulls.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
spark, sql
領域
data-engineering, databases
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。