DTStack / DTStack/flinkStreamSQL

通过Yarn模式提交任务时报错Caused by: java.lang.ClassNotFoundException: com.dtstack.flink.sql.source.kafka.KafkaConsumer010

Offen
#265 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Java
Sterne
2k
Forks
913
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

**### sql文件内容如下:**
CREATE TABLE sourceKafkaTable(
id int as id,
name varchar as name
)WITH(
type ='kafka10',
bootstrapServers ='spark01:9092,spark02:9092',
zookeeperQuorum ='spark01:2181,spark02:2181/brokers',
offsetReset ='latest',
topic ='flink1',
parallelism ='1'
);

CREATE TABLE sideMysqlTable(
id int,
cname varchar,
PRIMARY KEY(id),
PERIOD FOR SYSTEM_TIME
)WITH(
type='mysql',
url='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName='root',
password='6666526',
tableName='side_order',
cache ='LRU',
cacheSize ='10000',
cacheTTLMs ='60000',
parallelism ='1',
partitionedJoin='false'
);

CREATE TABLE sinkMysqlTable(
id int,
name varchar,
cname varchar
)WITH(
type ='mysql',
url ='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName ='root',
password ='6666526',
tableName ='result_order',
parallelism ='1'
);

insert into sinkMysqlTable
select
d.id,
d.name,
d.cname
from
(select
a.id,a.name,b.cname
from
sourceKafkaTable a
join
sideMysqlTable b
on a.id=b.id) as d

================================================================
**### 提交的命令如下:**
sh submit.sh -sql /home/flinksql.txt -name flinkstream -remoteSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -localSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -mode yarn -yarnconf /home/hadoop-2.6.0/etc/hadoop -flinkconf /home/flink-1.8.0/conf -confProp \{\"time.characteristic\":\"EventTime\",\"sql.checkpoint.interval\":10000\} -yarnSessionConf \{\"yid\":\"application_1582170401251_0003\"}

================================================================
**### 报如下错误:**
![图片](https://user-images.githubusercontent.com/60570042/75101869-a413f380-561e-11ea-8f6c-05d023800e9f.png)

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.