绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
Kafka开启SASL认证 【windowe详细版】
2022-09-21 16:19:52

一、JAAS配置#


Zookeeper配置JAAS

zookeeper环境下新增一个配置文件,如zk_server_jass.conf,内容如下:

Server {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="admin"
	password="admin"
	user_admin="admin";
};

其作用是:在改zookeeper节点创建了一个Server节点,其中

  • org.apache.kafka.common.security.plain.PlainLoginModule required 是加密机制为PLAIN的处理类。在kafka-client包下
  • usernamepassword是zookeeper之间通讯的用户名和密码,
  • user_admin="admin"的结构是user_[username]=[password],定义kafka-broker(zookeeper客户端)连接到zookeeper时用的用户名和密码。

注意jaas配置都要以结尾


Kafka-Broker配置JAAS

在kafka-broker环境下新增配置,如kafka_server_jaas.conf,内容如下:

# 用于broker和zookeeper之间的认证,对应zk_server_jass.conf中的【user_admin="admin"】配置
Client {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="admin"
	password="admin";
};

# 定义kafka客户端与broker的认知信息
KafkaServer {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="admin"
	password="admin"
	user_admin="admin"
	user_alice="alice";
};
  • Client:用于broker和zookeeper之间的认证,对应zk_server_jass.conf中的【user_admin="admin"】配置
  • KafkaServer:集群中,broker之间用节点中的username,password进行通讯
  • KafkaServerkafka客户端(producer,consumer)连接broker时,用该配置下user_[username]=[password]结构配置的账号密码登录


Kafka-Producer配置JAAS

在kafka-broker环境下新增配置,如kafka_producer_jaas.conf,内容如下:

Client {
	org.apache.kafka.common.security.plain.PlainLoginModule required
	username="admin"
	password="admin";
};

Client:客户端登录服务端认证信息,对应broker配置中user_[username]=[password]定义的配置


Kafka-Consumer配置JAAS

新增kafka_consumer_jaas.conf,配置同producer

从以上配置可以得出结论:

  • username="admin" password="admin"配置格式有两种场景

1、是用于服务端集群之间的认证信息,定义在Server节点里

2、用户登录服务端的认证信息,定义在Client节点里

  • user_[username]=[password]配置定义在Server节点里,用于提供给客户端登录。

以上关系是:Zookeeper:Kafka-Broker关系里,Zookeeper是服务端,Kafka-Broker是客户端;Kafka-Broker:Kafka-Producer、Kafka-Consumer关系里,Kafka-Broker是服务端,Kafka-Producer、Kafka-Consumer是客户端


二、SASL配置#


zookeeper的sasl配置

zookeeper.properties配置文件新增:

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
requireClientAuthScheme=sasl
jaasLoginRenew=3600000

修改zookeeper-server-start.bat,新增一个配置KAFKA_OPTS

SetLocal

set KAFKA_OPTS=-Djava.security.auth.login.config=【zk_server_jass.conf路径】
......

EndLocal


broker新增sasl配置

server.properties新增配置

listeners=SASL_PLAINTEXT://localhost:9092
#使用的认证协议
security.inter.broker.protocol=SASL_PLAINTEXT
#SASL机制 
sasl.enabled.mechanisms=PLAIN  
sasl.mechanism.inter.broker.protocol=PLAIN   
# 完成身份验证的类 
#authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer 
# 如果没有找到ACL(访问控制列表)配置,则允许任何操作。 
allow.everyone.if.no.acl.found=false
#超级管理员权限用户
super.users=User:admin
advertised.listeners=SASL_PLAINTEXT://localhost:9092

修改kafka-server-start.bat ,新增一个配置KAFKA_OPTS:

SetLocal

set KAFKA_OPTS=-Djava.security.auth.login.config=【kafka_server_jass.conf路径】
......

EndLocal


producer的sasl配置

producer.properties新增配置

sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN


producer的sasl配置

consumer.properties新增配置

sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin";
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

三、启动命令【示例】#

zk:

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

broker:

.\bin\windows\kafka-server-start.bat .\config\server.properties

producer:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092  --topic testTopic  --producer.config  .\config\producer.properties

consumer:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server  localhost:9092 --topic testTopic --consumer.config .\config\consumer.properties
分享好友

分享这个小栈给你的朋友们,一起进步吧。

Kafka
创建时间:2020-05-22 09:55:12
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • ?
    栈主

小栈成员

查看更多
  • wangdabin1216
  • 小雨滴
  • chenglinjava0501
  • 时间不说话
戳我,来吐槽~