4paradigm / 4paradigm/OpenMLDB

load hive data into openmldb error: requirement failed: schema mismatch

Ouverte
#3,981 1 commentaire 0 réactions 1 personne assignée Réclamée par @aceforeverd Voir sur GitHub
bug
Langage dominant
C++
Étoiles
1.7k
Forks
331
Merge moyen
12 j 12 h
PR mergées (30 j)
1

Description

**Bug Description**
openMLDB:0.9.2
load hive data into openmldb error: requirement failed: schema mismatch

**Expected Behavior**

**Relation Case**

**Steps to Reproduce**

1. hive table : CREATE EXTERNAL TABLE `tmp.ods_admin_da`(
`id` bigint,
`biz_key` string ',
`biz_domain` string ,
`biz_type` string ,
`locked` string ,
`url` string ,
`method` string ,
`created_at` string,
`updated_at` string,
`biz_tag` string,
`status` string)
2. openMLDB table: desc test4;
---- ------------ --------- ------ ---------
# Field Type Null Default
---- ------------ --------- ------ ---------
1 id BigInt YES
2 biz_key Varchar YES
3 biz_domain Varchar YES
4 biz_type Varchar YES
5 locked Varchar YES
6 url Varchar YES
7 method Varchar YES
8 created_at Varchar YES
9 updated_at Varchar YES
10 biz_tag Varchar YES
11 status Varchar YES
3. LOAD DATA INFILE 'hive://tmp.ods_admin_da' INTO TABLE demo_db.test4 OPTIONS(deep_copy=true,mode='append');
4. Get exception: requirement failed: schema mismatch, loaded StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)) != table StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)), check hive://kc_tmp.ods_admin_admin_biz_config_da
5.

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

L’erreur indique une incompatibilité de schéma entre une table Hive et une table OpenMLDB, malgré des noms et des types de champs identiques. Examinez le code de chargement des données, probablement dans le connecteur Spark ou le module d’intégration Hive. Vérifiez comment les schémas sont comparés et pourquoi ils sont considérés comme incompatibles. Exécutez la commande LOAD DATA fournie dans un environnement de test afin de reproduire le problème.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
hadoop, spark
Domaine
data-engineering, databases, machine-learning
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
Plutôt claire
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.