4paradigm / 4paradigm/OpenMLDB
load hive data into openmldb error: requirement failed: schema mismatch
- Lingua principale
- C++
- Stelle
- 1.7k
- Fork
- 331
- Merge medio
- 12g 12h
- PR unite (30g)
- 1
Descrizione
**Bug Description**
openMLDB:0.9.2
load hive data into openmldb error: requirement failed: schema mismatch
**Expected Behavior**
**Relation Case**
**Steps to Reproduce**
1. hive table : CREATE EXTERNAL TABLE `tmp.ods_admin_da`(
`id` bigint,
`biz_key` string ',
`biz_domain` string ,
`biz_type` string ,
`locked` string ,
`url` string ,
`method` string ,
`created_at` string,
`updated_at` string,
`biz_tag` string,
`status` string)
2. openMLDB table: desc test4;
---- ------------ --------- ------ ---------
# Field Type Null Default
---- ------------ --------- ------ ---------
1 id BigInt YES
2 biz_key Varchar YES
3 biz_domain Varchar YES
4 biz_type Varchar YES
5 locked Varchar YES
6 url Varchar YES
7 method Varchar YES
8 created_at Varchar YES
9 updated_at Varchar YES
10 biz_tag Varchar YES
11 status Varchar YES
3. LOAD DATA INFILE 'hive://tmp.ods_admin_da' INTO TABLE demo_db.test4 OPTIONS(deep_copy=true,mode='append');
4. Get exception: requirement failed: schema mismatch, loaded StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)) != table StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)), check hive://kc_tmp.ods_admin_admin_biz_config_da
5.
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
L'errore indica una discrepanza tra lo schema di una tabella Hive e quello di una tabella OpenMLDB, nonostante i nomi e i tipi dei campi siano identici. Esamina il codice di caricamento dei dati, probabilmente nel connettore Spark o nel modulo di integrazione Hive. Verifica come vengono confrontati gli schemi e perché vengono considerati non corrispondenti. Esegui il comando LOAD DATA fornito in un ambiente di test per riprodurre il problema.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- hadoop, spark
- Ambito
- data-engineering, databases, machine-learning
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100