jjzjj

Kafka开启SASL认证

格格巫 MMQ!! 2023-12-10 原文

一、JAAS配置#

Zookeeper配置JAAS
zookeeper环境下新增一个配置文件,如zk_server_jass.conf,内容如下:

Server {
org.apache.kafka.common.security.plain.PlainLoginModule required
username=“admin”
password=“admin”
user_admin=“admin”;
};
其作用是:在改zookeeper节点创建了一个Server节点,其中

org.apache.kafka.common.security.plain.PlainLoginModule required 是加密机制为PLAIN的处理类。在kafka-client包下
username、password是zookeeper之间通讯的用户名和密码,
user_admin="admin"的结构是user_[username]=[password],定义kafka-broker(zookeeper客户端)连接到zookeeper时用的用户名和密码。
注意jaas配置都要以;结尾

Kafka-Broker配置JAAS
在kafka-broker环境下新增配置,如kafka_server_jaas.conf,内容如下:

用于broker和zookeeper之间的认证,对应zk_server_jass.conf中的【user_admin=“admin”】配置

Client {
org.apache.kafka.common.security.plain.PlainLoginModule required
username=“admin”
password=“admin”;
};

定义kafka客户端与broker的认知信息

KafkaServer {
org.apache.kafka.common.security.plain.PlainLoginModule required
username=“admin”
password=“admin”
user_admin=“admin”
user_alice=“alice”;
};
Client:用于broker和zookeeper之间的认证,对应zk_server_jass.conf中的【user_admin=“admin”】配置
KafkaServer:集群中,broker之间用节点中的username,password进行通讯
KafkaServer:kafka客户端(producer,consumer)连接broker时,用该配置下user_[username]=[password]结构配置的账号密码登录

Kafka-Producer配置JAAS
在kafka-broker环境下新增配置,如kafka_producer_jaas.conf,内容如下:

Client {
org.apache.kafka.common.security.plain.PlainLoginModule required
username=“admin”
password=“admin”;
};
Client:客户端登录服务端认证信息,对应broker配置中user_[username]=[password]定义的配置

Kafka-Consumer配置JAAS
新增kafka_consumer_jaas.conf,配置同producer

从以上配置可以得出结论:

username=“admin” password="admin"配置格式有两种场景
1、是用于服务端集群之间的认证信息,定义在Server节点里

2、用户登录服务端的认证信息,定义在Client节点里

user_[username]=[password]配置定义在Server节点里,用于提供给客户端登录。
以上关系是:Zookeeper:Kafka-Broker关系里,Zookeeper是服务端,Kafka-Broker是客户端;Kafka-Broker:Kafka-Producer、Kafka-Consumer关系里,Kafka-Broker是服务端,Kafka-Producer、Kafka-Consumer是客户端

二、SASL配置#

zookeeper的sasl配置
zookeeper.properties配置文件新增:

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000
修改zookeeper-server-start.bat,新增一个配置KAFKA_OPTS

SetLocal

set KAFKA_OPTS=-Djava.security.auth.login.config=【zk_server_jass.conf路径】

EndLocal

broker新增sasl配置
server.properties新增配置

listeners=SASL_PLAINTEXT://localhost:9092
#使用的认证协议
security.inter.broker.protocol=SASL_PLAINTEXT
#SASL机制
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN

完成身份验证的类

#authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer

如果没有找到ACL(访问控制列表)配置,则允许任何操作。

allow.everyone.if.no.acl.found=false
#超级管理员权限用户
super.users=User:admin
advertised.listeners=SASL_PLAINTEXT://localhost:9092
修改kafka-server-start.bat ,新增一个配置KAFKA_OPTS:

SetLocal

set KAFKA_OPTS=-Djava.security.auth.login.config=【kafka_server_jass.conf路径】

EndLocal

producer的sasl配置
producer.properties新增配置

sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username=“admin” password=“admin”;
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

producer的sasl配置
consumer.properties新增配置

sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username=“admin” password=“admin”;
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

三、启动命令【示例】#

zk:

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
broker:

.\bin\windows\kafka-server-start.bat .\config\server.properties
zookeeper日志显示kafka-broker认证成功信息

producer:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic testTopic --producer.config .\config\producer.properties
consumer:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testTopic --consumer.config .\config\consumer.properties
broker日志显示消费者登录信息

有关Kafka开启SASL认证的更多相关文章

  1. ruby - token 认证 - 2

    简单代码require'net/http'url=URI.parse('getjson/otherdatahere[link]')req=Net::HTTP::Get.new(url.to_s)res=Net::HTTP.start(url.host,url.port){|http|http.request(req)}putsres.body只是想知道如何在phpcURL中放置身份验证token,我是这样做的    curl_setopt($ch,CURLOPT_HTTPHEADER,array('Authorization:Bearerxxx'));//Bearertokenfora

  2. ruby - HTTParty 摘要认证 - 2

    谁能提供一个使用HTTParty和digestauth的例子?我在网上找不到例子,希望有人能提供一些帮助。谢谢。 最佳答案 您可以在定义类时使用digest_auth方法设置用户名和密码classFooincludeHTTPartydigest_auth'username','password'end 关于ruby-HTTParty摘要认证,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questi

  3. 联通家庭宽带开启ipv6 - 2

    联通家庭宽带开启ipv6废话不多,直接开干首先登录联通光猫的后台,机身有写我的是http://192.168.1.1/CU.html广州家庭宽带账号密码CUAdmincuadmin00259e这里好像是默认设置,不大记得了。保存就好然后登陆路由器后台,我的是tp-link选桥模式这里的桥模式跟光猫的wan类型应该是互斥关系,光猫设置桥接,路由器就要设pppoe拨号,我没试过。然后在系统就可以查看了或者直接访问这个网址http://testipv6.com/注意1:如果你是便宜小米红米之类的路由器,他好像是默认不打开这个ipv6防火墙的,也就是你可能在系统上看到有ipv6地址,但实际上是不互通的

  4. 华为认证的网络工程师证好考吗,含金量高吗 ? - 2

    华为认证分等级的,相当于初中高三个等级,当然高级是比较难考的,也是含金量最高的。我就慢慢给你介绍一下。1.了解华为认证华为认证网络工程师是由华为公司认证与采购部推出的独立认证体系,与之前的华为认证不同,简称HCIA。同时华为认证是华为技术有限公司凭借多年信息通信技术人才培养经验,以及对行业发展的理解,以层次化的职业技术认证为指引,推出的覆盖IP、IT、CT以及ICT融合技术领域的认证体系,是ICT全技术领域认证体系。​2.怎么考取华为认证网络工程师?要考取华为认证网络工程师必须选择最近的Prometric授权考试中心APTC报名并参加GB0-190的考试,考试通过后,以获得由华为统一签发的“华

  5. kafka如何动态消费新增topic主题 - 2

    一、解决痛点使用spring-kafka客户端,每次新增topic主题,都需要硬编码客户端并重新发布服务,操作麻烦耗时长。kafkaListener虽可以支持通配符消费topic,缺点是并发数需要手动改并且重启服务。对于业务逻辑相似场景,创建新主题动态监听可以用kafka-batch-starter组件二、组件能力1、新增topic名称为:auto.topic1(由于配置spring.kafka.consumer.prefix为auto,因此只有auto前缀的topic,才会被组件动态监听。)2、应用输出日志,监听到新增auto.topic1,并初始化客户端(主题刷新间隔为10s)3、发新的消

  6. 2023年6月DAMA-CDGP数据治理专家认证请尽快报名啦! - 2

    目前6月DAMA-CDGP数据治理认证考试开放报名地区有:北京、上海、广州、深圳、长沙、呼和浩特。目前南京、济南、西安、杭州等地区还在接近开考人数中,打算参加6月考试的朋友们可以抓紧时间报名啦!!!5月初,DAMA-CDGA/CDGP数据治理认证考前班也即将开班啦!报名从速!!!DAMA认证为数据管理专业人士提供职业目标晋升规划,彰显了职业发展里程碑及发展阶梯定义,帮助数据管理从业人士获得企业数字化转型战略下的必备职业能力,促进开展工作实践应用及实际问题解决,形成企业所需的新数字经济下的核心职业竞争能力。DAMA是数据管理方面的认证,帮助数据从业者提升数据管理能力。CDGP数据治理专家认证属于

  7. ruby-on-rails - 在 mongoid.yml 中指定认证数据库 - 2

    我正在尝试通过mongoid.yml进行身份验证,但我想要进行身份验证的用户在admin数据库中。如果我尝试在数据库字段中指定管理数据库,它也会将所有集合放在那里,我不希望这样。有没有办法将我的数据库字段设置为我想要的数据库,但指定一个单独的身份验证数据库?这是我的mongoid.yml文件development:sessions:default:database:XC_DEVhosts:-IP:PORTusername:userpassword:password 最佳答案 这个问题已经存在一年多了,但值得回答。是的,auth_so

  8. 华为鲲鹏认证怎么样?值得考吗 - 2

    华为鲲鹏认证是华为新推出的认证,可以看看下它的介绍:HCIA-KunpengApplicationDeveloper认证定位于培养和认证能够应用华为鲲鹏计算平台进行应用迁移与部署,性能测试与调优的鲲鹏应用开发工程师。获得HCIA-KunpengApplicationDeveloper认证,证明学员对华为鲲鹏计算平台有初步的了解,能够基于华为鲲鹏计算平台进行应用迁移、部署、性能测试和调优等工作。HCIP-KunpengApplicationDeveloper认证定位于培训与认证能够基于鲲鹏架构进行应用开发和高阶鲲鹏应用移植的高级工程师,通过此认证,将证明您了解鲲鹏应用从底层到发布的整个生命周期各

  9. Ubuntu开启SSH免密登录 - 2

    Ubuntu开启SSH免密登录要实现SSH免密登录,首先需要准备一组公钥和私钥。将公钥放到服务器上,将私钥放到客户机上。当客户机连接服务器时,服务器会根据自身的公钥校验客户机的私钥,如果校验通过则允许连接。一、创建密钥在客户机上输入以下命令创建一组公钥和私钥ssh-keygen密钥生成位置:默认会将密钥生成到当前登录用户的主目录下的.ssh文件夹中,如:/home/master/.ssh,建议使用默认位置,以便后续操作私钥密码:默认无密码,如果设置了私钥密码,在进行免密登录时需要输入私钥密码确认私钥密码:默认无密码命令执行成功后将会在指定位置生成密钥左边的id_rsa为私钥,需要留在客户机。建

  10. Zookeeper、Nacos、Dubbo、Kafka之间的关系 - 2

    1.Zookeeper  Zookeeper是 ApacheHadoop 的子项目,是一个树型的目录服务,支持变更推送,适合作为Dubbo服务的注册中心,工业强度较高。  Zookeeper的功能主要是它的树形节点来实现的。当有数据变化的时候或者节点过期的时候,会通过事件触发通知对应的客户端数据变化了,然后客户端再请求zookeeper获取最新数据,采用push-pull来做数据更新。服务注册和消费信息直接存储在zk树形节点上,集群下采用过半机制保证服务节点间一致性。 2.Nacos  Nacos是 Alibaba 公司推出的开源工具,用于实现分布式系统的服务发现与配置管理。Nacos是Dub

随机推荐