4paradigm / 4paradigm/OpenMLDB

load hive data into openmldb error: requirement failed: schema mismatch

Đang mở
#3,981 1 bình luận 0 reaction 1 người được giao Được @aceforeverd nhận Xem trên GitHub
bug
Ngôn ngữ chính
C++
Star
1.7k
Fork
331
Merge trung bình
12 ngày 12 giờ
Pull request đã merge (30 ngày)
1

Mô tả

**Bug Description**
openMLDB:0.9.2
load hive data into openmldb error: requirement failed: schema mismatch

**Expected Behavior**

**Relation Case**

**Steps to Reproduce**

1. hive table : CREATE EXTERNAL TABLE `tmp.ods_admin_da`(
`id` bigint,
`biz_key` string ',
`biz_domain` string ,
`biz_type` string ,
`locked` string ,
`url` string ,
`method` string ,
`created_at` string,
`updated_at` string,
`biz_tag` string,
`status` string)
2. openMLDB table: desc test4;
---- ------------ --------- ------ ---------
# Field Type Null Default
---- ------------ --------- ------ ---------
1 id BigInt YES
2 biz_key Varchar YES
3 biz_domain Varchar YES
4 biz_type Varchar YES
5 locked Varchar YES
6 url Varchar YES
7 method Varchar YES
8 created_at Varchar YES
9 updated_at Varchar YES
10 biz_tag Varchar YES
11 status Varchar YES
3. LOAD DATA INFILE 'hive://tmp.ods_admin_da' INTO TABLE demo_db.test4 OPTIONS(deep_copy=true,mode='append');
4. Get exception: requirement failed: schema mismatch, loaded StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)) != table StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)), check hive://kc_tmp.ods_admin_admin_biz_config_da
5.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Lỗi cho biết có sự không khớp schema giữa một bảng Hive và một bảng OpenMLDB, mặc dù tên và kiểu của các trường giống hệt nhau. Hãy xem xét mã tải dữ liệu, có thể nằm trong Spark connector hoặc Hive integration module. Kiểm tra cách các schema được so sánh và tại sao chúng bị xem là không khớp. Chạy lệnh LOAD DATA được cung cấp trong môi trường kiểm thử để tái hiện vấn đề.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
hadoop, spark
Lĩnh vực
data-engineering, databases, machine-learning
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.