Kafka 监控运维工具:Kafka-eagle

Kafka 监控运维工具:Kafka-eagle

Kafka 监控运维工具:Kafka-eagle

使用背景

在开发工作中,消费在Kafka集群中消息,数据变化是我们关注的问题,当业务前提不复杂时,我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具,可以轻松完成我们的工作。随着业务的复杂性,增加Group和 Topic,那么我们使用Kafka提供命令工具,已经感到无能为力,那么Kafka监控系统目前尤为重要,我们需要观察 消费者应用的细节。

kafka-eagle概述

为了简化开发者和服务工程师维护Kafka集群的工作有一个监控管理工具,叫做 Kafka-eagle。
这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。
它支持管理多个集群、选择副本、副本重新分配以及创建Topic。
同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,

Kafka-eagle安装

第一步 环境准备

  • 已安装JDK1.8 👈
  • 已安装Zookeeper 👈
  • 已安装Kafka 👈

第二步 下载kafka-eagle

kafka-eagle官网:
kafka-eagle Github地址:
这里我下载的是kafka-eagle-bin-1.3.2.tar.gz。

第三步 上传并解压

这里将kafak-eagle安装在hadoop01
直接将kafka-eagle安装包上传到hadoop01服务器的/export/softwares路径下,然后进行解压
hadoop01服务器执行以下命令进行解压

cd /export/softwares/
tar -zxvf kafka-eagle-bin-1.3.2.tar.gz -C /export/servers/
cd /export/servers/kafka-eagle-bin-1.3.2
tar -zxvf kafka-eagle-web-1.3.2-bin.tar.gz

第四步 修改kafak-eagle配置文件

hadoop01执行以下命令修改kafak-eagle配置文件

cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/conf
vim system-config.properties
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=hadoop01:2181,hadoop02:2181,hadoop03:2181
cluster2.zk.list=hadoop01:2181,hadoop02:2181,hadoop03:2181

kafka.eagle.url=jdbc:sqlite:/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/db/ke.db

第五步 配置环境变量

kafka-eagle必须配置环境变量,hadoop01服务器执行以下命令来进行配置环境变量

cd /etc/profile.d/
vim kafka-eagle.sh
export KE_HOME=/export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2
export PATH=:$KE_HOME/bin:$PATH

保存退出,执行以下命令

source /etc/profile

第六步 启动kafka-eagle

hadoop01执行以下命令启动kafka-eagle

cd /export/servers/kafka-eagle-bin-1.3.2/kafka-eagle-web-1.3.2/bin
chmod u+x ke.sh
./ke.sh start

执行后出现如下界面则成功!

www.zeeklog.com  - Kafka 监控运维工具:Kafka-eagle

第七步 访问web主界面

访问kafka-eagle

用户名:admin
密码:123456
当你点开这个链接后,终端提示如下界面:

www.zeeklog.com  - Kafka 监控运维工具:Kafka-eagle


浏览器显示如下界面:

www.zeeklog.com  - Kafka 监控运维工具:Kafka-eagle


输入用户名和密码即可登录。用户名admin密码123456

www.zeeklog.com  - Kafka 监控运维工具:Kafka-eagle


然后就进来了。ok,安装完成。