hive3tohive3开启ssl的配置
- Vorherrschende Sprache
- Java
- Sterne
- 4.1k
- Forks
- 1.7k
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
访问hadoop服务端需要ssl认证,请问是否对应下面的配置
"ssl.client.truststore.type": "jks",
"ssl.client.truststore.reload.interval": "10000",
"ssl.client.truststore.password": "Ku58pHfrLmrej4zPu3muE8hF6MpLf9LIBHAincS",
"ssl.client.truststore.location": "C:/app/cm-auto-xxx.jks",
如有不对,麻烦给个示例
{
"job": {
"content": [
{
"reader": {
"parameter": {
"path": "hdfs://nameservice1/warehouse/tablespace/external/hive/ods_his.db/xxx",
"fileName": "etl_dte=20221015",
"partitionName": "etl_dte=20221015",
"hadoopConfig": {
"fs.defaultFS": "hdfs://nameservice1",
"dfs.ha.namenodes.nameservice1": "namenode30,namenode288",
"ssl.client.truststore.password": "Ku58pHfrLmrej4zPu3muE8hF6MpLf9LIBHAincS",
"hadoop.security.authentication": "Kerberos",
"ssl.client.truststore.type": "jks",
"dfs.namenode.rpc-address.nameservice1.namenode288": "w1vlti-sd.aexpec.com:8020",
"dfs.namenode.keytab.file": "C://app//s1ddt02.keytab",
"dfs.nameservices": "nameservice1",
"dfs.client.failover.proxy.provider.nameservice1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"fs.hdfs.impl.disable.cache": "true",
"fs.hdfs.impl": "org.apache.hadoop.hdfs.DistributedFileSystem",
"java.security.krb5.conf": "C://app//krb5.conf",
"ssl.client.truststore.reload.interval": "10000",
"dfs.data.transfer.protection": "authentication",
"dfs.encryption.key.provider.uri": "kms://https@w1vlti-sd.aexpec.com;w1vlti-sd.aexpec.com:9494/kms",
"dfs.namenode.kerberos.principal": "s1ddt02/s1ddt02@scs.COM",
"dfs.namenode.rpc-address.nameservice1.namenode30": "w1vlti-sd.aexpec.com:8020",
"hadoop.security.authorization": "true",
"ssl.client.truststore.location": "C:/app/cm-auto-xxx.jks",
"principalFile": "C://app//ds.keytab",
"useLocalFile": "true"
}
Beitragsleitfaden
Rechercherichtung
Beginne beim hadoopConfig-Einstiegspunkt des reader-Parameters und verfolge, wie die aufgeführten Hadoop-SSL- und -Kerberos-Einstellungen verwendet werden. Vergleiche die angeforderte Truststore-Konfiguration mit den vom Projekt unterstützten Optionen und dokumentiere ein vollständiges, funktionierendes Beispiel; als abgeschlossen gilt die Aufgabe, wenn bestätigt ist, dass sich das Beispiel beim Hadoop-Dienst authentifizieren kann.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- hadoop, java
- Bereich
- data-engineering, distributed-systems, security
- Issue-Typ
- Dokumentation
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 25/100