Kafka 3.7.2 KRaft 模式 SASL 认证集群安装与部署

2. 不加密配置集群

vi /opt/kafka/config/kraft/server.properties

需要修改的配置如下：

# 三个节点 controller.quorum.voters 一样
# listeners 配置本机 ip
# advertised.listeners 配置本机 ip
# 节点 1
node.id=1
[email protected]:9093,[email protected]:9093,[email protected]:9093
listeners=PLAINTEXT://192.168.1.127:9092,CONTROLLER://192.168.1.127:9093
advertised.listeners=PLAINTEXT://192.168.1.127:9092
log.dirs=/home/kafka/log/kraft-combined-logs-1

# 节点 2
node.id=2
[email protected]:9093,[email protected]:9093,[email protected]:9093
listeners=PLAINTEXT://192.168.1.173:9092,CONTROLLER://192.168.1.173:9093
advertised.listeners=PLAINTEXT://192.168.1.173:9092
log.dirs=/home/kafka/log/kraft-combined-logs-2

# 节点三
node.id=3
[email protected]:9093,[email protected]:9093,[email protected]:9093
listeners=PLAINTEXT://192.168.1.111:9092,CONTROLLER://192.168.1.111:9093
advertised.listeners=PLAINTEXT://192.168.1.111:9092
log.dirs=/home/kafka/log/kraft-combined-logs-3

初始化集群

# 在 1 个节点上跑
bin/kafka-storage.sh random-uuid # 输出 BrCGek6YSWq4NkQ5GN-4nw
# 初始化 三个节点初始化相同的集群 id
/opt/kafka/bin/kafka-storage.sh format -t BrCGek6YSWq4NkQ5GN-4nw -c /opt/kafka/config/kraft/server.properties

启动集群

/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/kraft/server.properties

创建加密用户

/opt/kafka/bin/kafka-configs.sh --bootstrap-server 192.168.1.127:9092 --alter --add-config 'SCRAM-SHA-256=[password=admin-secret]' --entity-type users --entity-name admin

创建成功后停止集群

3. 加密集群配置

然后修改三台机器的 /kraft/server.properties 的配置 (SCRAM-SHA-256)

# 使用 SASL_PLAINTEXT ip 使用为当前节点 ip
listeners=SASL_PLAINTEXT://192.168.1.127:9092
# inter.broker.listener.name 注释掉 这个不能跟 security.inter.broker.protocol 一起添加
# 这个去掉 原来的 CONTROLLER://:9093 不对外暴露，配置的 ip 为当前节点 ip
advertised.listeners=SASL_PLAINTEXT://192.168.1.127:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT
# 指定 Broker 间通信使用的安全协议和 SASL 机制
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256

创建文件 kafka_server_jaas.conf，我这里放到了 /opt/kafka/config/kafka_server_jaas.conf 这里

KafkaServer {
    org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-secret";
};

修改启动脚本 /opt/kafka/bin/kafka-server-start.sh

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf"

三台机器重启验证，三台机器启动成功。

使用 Kafka 链接工具 Offset Explore 进行验证。

org.apache.kafka.common.security.scram.ScramLoginModule required username="admin" password="admin-secret";

连接成功

4. 整体加密后的配置文件

下面是我整体的 127 节点配置文件，其他两个节点配置也一样的，仅有节点机器的 IP 变化。

/opt/kafka/config/kraft/server.properties

process.roles=broker,controller
node.id=1
# 三台机器配置一样
[email protected]:9093,[email protected]:9093,[email protected]:9093
# listeners 配置当前用节点 IP 使用 SASL_PLAINTEXT
listeners=SASL_PLAINTEXT://192.168.1.127:9092,PLAINTEXT://192.168.1.127:9093
#inter.broker.listener.name=PLAINTEXT
# advertised.listeners 配置当前用节点 IP 和 SASL_PLAINTEXT
advertised.listeners=SASL_PLAINTEXT://192.168.1.127:9092
controller.listener.names=PLAINTEXT
#listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/home/kafka/log/kraft-combined-logs-1
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
# 启用 SASL
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=SCRAM-SHA-256
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256