4paradigm / 4paradigm/OpenMLDB

load hive data into openmldb error: requirement failed: schema mismatch

Offen
#3,981 1 Kommentar 0 Reaktionen 1 zugewiesene Person Beansprucht von @aceforeverd Auf GitHub ansehen
bug
Vorherrschende Sprache
C++
Sterne
1.7k
Forks
331
Ø Merge
12 T. 12 Std.
Gemergte PRs (30 T.)
1

Beschreibung

**Bug Description**
openMLDB:0.9.2
load hive data into openmldb error: requirement failed: schema mismatch

**Expected Behavior**

**Relation Case**

**Steps to Reproduce**

1. hive table : CREATE EXTERNAL TABLE `tmp.ods_admin_da`(
`id` bigint,
`biz_key` string ',
`biz_domain` string ,
`biz_type` string ,
`locked` string ,
`url` string ,
`method` string ,
`created_at` string,
`updated_at` string,
`biz_tag` string,
`status` string)
2. openMLDB table: desc test4;
---- ------------ --------- ------ ---------
# Field Type Null Default
---- ------------ --------- ------ ---------
1 id BigInt YES
2 biz_key Varchar YES
3 biz_domain Varchar YES
4 biz_type Varchar YES
5 locked Varchar YES
6 url Varchar YES
7 method Varchar YES
8 created_at Varchar YES
9 updated_at Varchar YES
10 biz_tag Varchar YES
11 status Varchar YES
3. LOAD DATA INFILE 'hive://tmp.ods_admin_da' INTO TABLE demo_db.test4 OPTIONS(deep_copy=true,mode='append');
4. Get exception: requirement failed: schema mismatch, loaded StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)) != table StructType(StructField(id,LongType,true),StructField(biz_key,StringType,true),StructField(biz_domain,StringType,true),StructField(biz_type,StringType,true),StructField(locked,StringType,true),StructField(url,StringType,true),StructField(method,StringType,true),StructField(created_at,StringType,true),StructField(updated_at,StringType,true),StructField(biz_tag,StringType,true),StructField(status,StringType,true)), check hive://kc_tmp.ods_admin_admin_biz_config_da
5.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Der Fehler weist auf eine Schemaabweichung zwischen einer Hive-Tabelle und einer OpenMLDB-Tabelle hin, obwohl Feldnamen und -typen identisch sind. Sieh dir den Code zum Laden der Daten an, wahrscheinlich im Spark-Connector oder im Hive-Integrationsmodul. Prüfe, wie die Schemas verglichen werden und warum sie als nicht übereinstimmend betrachtet werden. Führe den bereitgestellten LOAD DATA-Befehl in einer Testumgebung aus, um das Problem zu reproduzieren.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
hadoop, spark
Bereich
data-engineering, databases, machine-learning
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.