DTStack / DTStack/flinkStreamSQL

通过Yarn模式提交任务时报错Caused by: java.lang.ClassNotFoundException: com.dtstack.flink.sql.source.kafka.KafkaConsumer010

未關閉
#265 3 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Java
星號
2k
分支
913
PR 合併指標
30 天內沒有已合併 PR

描述

**### sql文件内容如下:**
CREATE TABLE sourceKafkaTable(
id int as id,
name varchar as name
)WITH(
type ='kafka10',
bootstrapServers ='spark01:9092,spark02:9092',
zookeeperQuorum ='spark01:2181,spark02:2181/brokers',
offsetReset ='latest',
topic ='flink1',
parallelism ='1'
);

CREATE TABLE sideMysqlTable(
id int,
cname varchar,
PRIMARY KEY(id),
PERIOD FOR SYSTEM_TIME
)WITH(
type='mysql',
url='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName='root',
password='6666526',
tableName='side_order',
cache ='LRU',
cacheSize ='10000',
cacheTTLMs ='60000',
parallelism ='1',
partitionedJoin='false'
);

CREATE TABLE sinkMysqlTable(
id int,
name varchar,
cname varchar
)WITH(
type ='mysql',
url ='jdbc:mysql://192.168.181.15:3306/hive?charset=utf8',
userName ='root',
password ='6666526',
tableName ='result_order',
parallelism ='1'
);

insert into sinkMysqlTable
select
d.id,
d.name,
d.cname
from
(select
a.id,a.name,b.cname
from
sourceKafkaTable a
join
sideMysqlTable b
on a.id=b.id) as d

================================================================
**### 提交的命令如下:**
sh submit.sh -sql /home/flinksql.txt -name flinkstream -remoteSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -localSqlPluginPath /home/FlinkStreamSQL-1.8.0-new/plugins -mode yarn -yarnconf /home/hadoop-2.6.0/etc/hadoop -flinkconf /home/flink-1.8.0/conf -confProp \{\"time.characteristic\":\"EventTime\",\"sql.checkpoint.interval\":10000\} -yarnSessionConf \{\"yid\":\"application_1582170401251_0003\"}

================================================================
**### 报如下错误:**
![图片](https://user-images.githubusercontent.com/60570042/75101869-a413f380-561e-11ea-8f6c-05d023800e9f.png)

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

從 submit.sh 以及透過 -remoteSqlPluginPath 和 -localSqlPluginPath 傳入的外掛目錄開始,然後在 -mode yarn 中重現提供的命令。檢查在提交至 Yarn 期間如何載入 KafkaConsumer010;當相同的 SQL 工作提交時不再出現回報的 ClassNotFoundException,即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
java, kafka, mysql
領域
backend, databases, distributed-systems
Issue 類型
缺陷
難度
3/5
預估耗時
1-2 天
活躍度
停滯
描述清晰度
需要釐清
新手友好度
35/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。