4paradigm / 4paradigm/OpenMLDB

load hive data into openmldb error: requirement failed: schema mismatch

未关闭
#3,981 1 条评论 0 个 reaction 已指派 1 人 已被 @aceforeverd 认领 在 GitHub 查看
bug
主要语言
C++
星标
1.7k
派生
331
平均合并
12 天 12 小时
30 天内合并 PR
1

描述

**Bug Description**
openMLDB:0.9.2
load hive data into openmldb error: requirement failed: schema mismatch

**Expected Behavior**

**Relation Case**

**Steps to Reproduce**

1. hive table : CREATE EXTERNAL TABLE `tmp.ods_admin_da`(
`id` bigint,
`biz_key` string ',
`biz_domain` string ,
`biz_type` string ,
`locked` string ,
`url` string ,
`method` string ,
`created_at` string,
`updated_at` string,
`biz_tag` string,
`status` string)
2. openMLDB table: desc test4;
---- ------------ --------- ------ ---------
# Field Type Null Default
---- ------------ --------- ------ ---------
1 id BigInt YES
2 biz_key Varchar YES
3 biz_domain Varchar YES
4 biz_type Varchar YES
5 locked Varchar YES
6 url Varchar YES
7 method Varchar YES
8 created_at Varchar YES
9 updated_at Varchar YES
10 biz_tag Varchar YES
11 status Varchar YES
3. LOAD DATA INFILE 'hive://tmp.ods_admin_da' INTO TABLE demo_db.test4 OPTIONS(deep_copy=true,mode='append');
4. Get exception: requirement failed: schema mismatch, loaded StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)) != table StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)), check hive://kc_tmp.ods_admin_admin_biz_config_da
5.

贡献指南

打开贡献指南

调研方向

该错误表明 Hive 表与 OpenMLDB 表之间存在 schema 不匹配,尽管字段名称和类型完全相同。查看数据加载代码,可能位于 Spark connector 或 Hive integration module 中。检查 schema 是如何进行比较的,以及为什么会被认为不匹配。在测试环境中运行提供的 LOAD DATA 命令,以复现该问题。

由索引模型根据 Issue 内容生成。

评估

技术栈
hadoop, spark
领域
data-engineering, databases, machine-learning
Issue 类型
缺陷
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。