DTStack / DTStack/chunjun

hive3tohive3开启ssl的配置

Aperta
#1,502 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Java
Stelle
4.1k
Fork
1.7k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

访问hadoop服务端需要ssl认证,请问是否对应下面的配置
"ssl.client.truststore.type": "jks",
"ssl.client.truststore.reload.interval": "10000",
"ssl.client.truststore.password": "Ku58pHfrLmrej4zPu3muE8hF6MpLf9LIBHAincS",
"ssl.client.truststore.location": "C:/app/cm-auto-xxx.jks",
如有不对,麻烦给个示例
{
"job": {
"content": [
{
"reader": {
"parameter": {
"path": "hdfs://nameservice1/warehouse/tablespace/external/hive/ods_his.db/xxx",
"fileName": "etl_dte=20221015",
"partitionName": "etl_dte=20221015",
"hadoopConfig": {
"fs.defaultFS": "hdfs://nameservice1",
"dfs.ha.namenodes.nameservice1": "namenode30,namenode288",
"ssl.client.truststore.password": "Ku58pHfrLmrej4zPu3muE8hF6MpLf9LIBHAincS",
"hadoop.security.authentication": "Kerberos",
"ssl.client.truststore.type": "jks",
"dfs.namenode.rpc-address.nameservice1.namenode288": "w1vlti-sd.aexpec.com:8020",
"dfs.namenode.keytab.file": "C://app//s1ddt02.keytab",
"dfs.nameservices": "nameservice1",
"dfs.client.failover.proxy.provider.nameservice1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"fs.hdfs.impl.disable.cache": "true",
"fs.hdfs.impl": "org.apache.hadoop.hdfs.DistributedFileSystem",
"java.security.krb5.conf": "C://app//krb5.conf",
"ssl.client.truststore.reload.interval": "10000",
"dfs.data.transfer.protection": "authentication",
"dfs.encryption.key.provider.uri": "kms://https@w1vlti-sd.aexpec.com;w1vlti-sd.aexpec.com:9494/kms",
"dfs.namenode.kerberos.principal": "s1ddt02/s1ddt02@scs.COM",
"dfs.namenode.rpc-address.nameservice1.namenode30": "w1vlti-sd.aexpec.com:8020",
"hadoop.security.authorization": "true",
"ssl.client.truststore.location": "C:/app/cm-auto-xxx.jks",
"principalFile": "C://app//ds.keytab",
"useLocalFile": "true"
}

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dal punto di ingresso hadoopConfig del parametro reader e segui come vengono utilizzate le impostazioni SSL e Kerberos di Hadoop elencate. Confronta la configurazione truststore richiesta con le opzioni supportate dal progetto e documenta un esempio completo e funzionante; il lavoro è completato quando viene confermato che l’esempio riesce ad autenticarsi presso il servizio Hadoop.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
hadoop, java
Ambito
data-engineering, distributed-systems, security
Tipo di issue
Documentazione
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.