[BUG] 1.12版本,sql+flink yarn pre模式使用upsert-kafka-x连接器报错
- Lingua principale
- Java
- Stelle
- 4.1k
- Fork
- 1.7k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
主要报错信息:
----------sql end---------
Unsupported options found for connector 'upsert-kafka-x'.
Unsupported options:
format
scan.startup.mode
sink.partitioner
sink.semantic
Supported options:
connector
key.fields-prefix
key.format
key.json.fail-on-missing-field
key.json.ignore-parse-errors
key.json.map-null-key.literal
key.json.map-null-key.mode
key.json.timestamp-format.standard
properties.bootstrap.servers
property-version
sink.parallelism
topic
value.fields-include
value.format
value.json.fail-on-missing-field
value.json.ignore-parse-errors
value.json.map-null-key.literal
value.json.map-null-key.mode
value.json.timestamp-format.standard
Unable to create a source for reading table 'default_catalog.default_database.sinkCache'.
Table options are:
'connector'='upsert-kafka-x'
'format'='json'
'key.format'='json'
'properties.bootstrap.servers'='dcqc11-9:9092,dcqc11-10:9092,dcqc11-11:9092'
'scan.startup.mode'='earliest-offset'
'sink.partitioner'='default'
'sink.semantic'='at-least-once'
'topic'='sinkCache'
'value.format'='json'
at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:366)
at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:219)
at org.apache.flink.client.program.PackagedProgramUtils.getPipelineFromProgram(PackagedProgramUtils.java:158)
at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:82)
at org.apache.flink.client.program.PackagedProgramUtils.createJobGraph(PackagedProgramUtils.java:117)
at org.apache.flink.yarn.YarnClusterDescriptor.deployInternal(YarnClusterDescriptor.java:569)
at org.apache.flink.yarn.YarnClusterDescriptor.deployJobCluster(YarnClusterDescriptor.java:484)
... 2 more
Caused by: com.dtstack.flinkx.throwable.FlinkxRuntimeException: com.dtstack.flinkx.throwable.DtSqlParserException:
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Inizia con la convalida delle opzioni del connettore upsert-kafka-x coinvolta nell’esecuzione SQL segnalata, quindi traccia i punti di ingresso di Flink client e YARN indicati nello stack trace. Riproduci il caso YARN pre-mode di Flink 1.12 e determina perché le opzioni della tabella elencate vengono rifiutate; il lavoro è completato quando la configurazione non fallisce più con errori relativi a opzioni non supportate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java, kafka, sql
- Ambito
- data-engineering, stream-processing
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100