DTStack / DTStack/chunjun

[BUG] 1.12版本,sql+flink yarn pre模式使用upsert-kafka-x连接器报错

Aperta
#735 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Java
Stelle
4.1k
Fork
1.7k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

主要报错信息:
----------sql end---------
Unsupported options found for connector 'upsert-kafka-x'.
Unsupported options:
format
scan.startup.mode
sink.partitioner
sink.semantic
Supported options:
connector
key.fields-prefix
key.format
key.json.fail-on-missing-field
key.json.ignore-parse-errors
key.json.map-null-key.literal
key.json.map-null-key.mode
key.json.timestamp-format.standard
properties.bootstrap.servers
property-version
sink.parallelism
topic
value.fields-include
value.format
value.json.fail-on-missing-field
value.json.ignore-parse-errors
value.json.map-null-key.literal
value.json.map-null-key.mode
value.json.timestamp-format.standard
Unable to create a source for reading table 'default_catalog.default_database.sinkCache'.
Table options are:
'connector'='upsert-kafka-x'
'format'='json'
'key.format'='json'
'properties.bootstrap.servers'='dcqc11-9:9092,dcqc11-10:9092,dcqc11-11:9092'
'scan.startup.mode'='earliest-offset'
'sink.partitioner'='default'
'sink.semantic'='at-least-once'
'topic'='sinkCache'
'value.format'='json'
at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:366)
at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:219)
at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:158)
at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:82)
at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:117)
at org.apache.flink.yarn.YarnClusterDescriptor.deployInternal(YarnClusterDescriptor.java:569)
at org.apache.flink.yarn.YarnClusterDescriptor.deployJobCluster(YarnClusterDescriptor.java:484)
... 2 more
Caused by: com.dtstack.flinkx.throwable.FlinkxRuntimeException: com.dtstack.flinkx.throwable.DtSqlParserException:

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia con la convalida delle opzioni del connettore upsert-kafka-x coinvolta nell’esecuzione SQL segnalata, quindi traccia i punti di ingresso di Flink client e YARN indicati nello stack trace. Riproduci il caso YARN pre-mode di Flink 1.12 e determina perché le opzioni della tabella elencate vengono rifiutate; il lavoro è completato quando la configurazione non fallisce più con errori relativi a opzioni non supportate.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java, kafka, sql
Ambito
data-engineering, stream-processing
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.