KAFKA EAGLE 监控MRS kafka之操作实践

kafka,eagle,监控,mrs,操作,实践 · 浏览次数 : 182

小编点评

**文章概述** 本文介绍了华为云社区的「KAFKA EAGLE 监控MRS kafka之操作实践」，作者啊喔YeYe。该文章介绍了如何使用Kafka Eagle监控MRS Kafka集群，包括安装、配置和启动等步骤。 **安装步骤** 1. 修改MRS kafka jmx服务的ip，重启生效。 2. 安装和配置efak。 3. 创建环境变量 `KE_HOME`，设置 `KE_HOME/bin`路径。 4. 启动efak服务。 5.访问EFKA Webui默认用户密码为 `admin/123456kafka集群监控Topic监控Consumer监控`。 **常见问题** 无法获取kafka cpu与内存监控信息日志提示： * jmx地址配置错误。 * 默认jmx地址为 `cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka`。 * 需要设置为 `cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka`。 **总结** 该文章提供了使用Kafka Eagle监控MRS Kafka集群的操作实践，并解决了一些常见问题。

正文

本文分享自华为云社区《KAFKA EAGLE 监控MRS kafka之操作实践》，作者：啊喔YeYe 。

1.Kafka Eagle简介

Kafka eagle 是一款分布式、高可用的kafka监控软件，提供丰富的kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity Top10、Lag挤压，CPU/Memory监控等。

Eagle新版本中改名为EFAK，基于版本3.0.1对接监控MRS 3.1.0（普通集群）中的kafka集群。

2. Eagle安装步骤

2.1 修改MRS kafka jmx服务的ip,重启生效

MRS manager进入kafka配置页面，输入JMX搜索，修改KAFKA_JMX_IP为 ${BROKER_IP}

2.2 把efak安装包放到集群目录下，然后解压

tar –xvf kafka-eagle-bin-3.0.1.tar.gz
cd kafka-eagle-bin-3.0.1
tar –xvf efka-web-3.0.1-bin.tar.gz

把efka-web-3.0.1复制到/opt/efka目录下

2.4 新建环境变量

vim /etc/profile
export KE_HOME=/opt/efka/efka-web-3.0.1
PATH变量后面添加:$KE_HOME/bin

例如：

source /etc/profile

2.5 修改/opt/efka/efka-web-3.0.1/conf/system-config.properties配置文件

cluster1.zk.list的值改为kafka服务的metrics.reporter.zookeeper.url配置项的值

efak.zk.cluster.alias只保留一个cluster
efak.zk.cluster.alias=cluster1
cluster1.zk.list=XXX:2181,XXX:2181,XXX:2181/kafka
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

修改kafka jmx uri的配置

cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka

修改kafka mysql jdbc driver address数据库相关的配置

efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=XXX

2.6 启动efka服务

sh /opt/efak/efak-web-3.0.1/bin/ke.sh start

如下启动ok

2.7 访问EFKA Webui 默认用户密码：admin/123456

kafka集群监控

Topic监控

Consumer监控

3. 常见问题

问题：无法获取kafka cpu与内存监控信息日志提示：

java.io.IOException cannot be cast to javax.management.remote.JMXConnector

原因：jmx地址配置错误，默认jmx地址为：

cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

MRS内kafka jmx名称为kafka，需要设置为：

cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka

点击关注，第一时间了解华为云新鲜技术~