[转帖]kafka_export 部署实战

kafka,export,部署,实战 · 浏览次数 : 0

小编点评

**监控方案：** 1. **Kafka Exporter 部署：** - 下载并解压缩 Kafka Exporter 模板。 - 使用 `nohup` 命令运行 Kafka Exporter，指定服务器地址、端口、版本和日志等级。 2. **Prometheus 部署：** - 下载并解压缩 Prometheus 安装包。 - 配置 Prometheus，添加红框中的内容。 - 启动 Prometheus。 3. **Grafana 配置：** - 下载 Grafana 模板。 - 配置 Grafana，添加数据源并选择数据源。 4. **数据监控：** - 在 Grafana 中添加数据图表，监控 Kafka 历史/实时数据。 - 在 dashboard 中查看 kafka 的数据。 **步骤：** **1. 下载并解压缩 Kafka Exporter 模板：** ```bash wget -O kafka_exporter-1.2.0.linux-amd64.tar.gz -v tar -xzvf kafka_exporter-1.2.0.linux-amd64.tar.gz ``` **2. 使用 `nohup` 命令运行 Kafka Exporter：** ```bash nohup ./kafka_exporter \ --kafka.server=192.168.1.160:19092 \ --kafka.version=1.1.0 \ --log.level=info > kafka_exporter.log \ --web.listen-address=9308 &# --kafka.server=kafka_broker_address# --kafka.version=kafka_version# --log.leve=日志等级更详细的配置参阅：https://github.com/danielqsj/kafka_exporter#run-binary ``` **3. 下载并解压缩 Prometheus 安装包：** ```bash wget https://github.com/prometheus/prometheus/releases/download/v2.6.0/prometheus-2.6.0.linux-amd64.tar.gz -O prometheus-2.6.0.linux-amd64.tar.gz tar -xzvf prometheus-2.6.0.linux-amd64.tar.gz ``` **4. 配置 Prometheus：** ```yaml --- - job_name: kafka_exporter config: kafka: server: 192.168.1.160:19092 version: 1.1.0 log: level: info ``` **5. 启动 Prometheus：** ```bash nohup ./prometheus --config.file=prometheus.yml > prometheus.log & ``` **6. 安装 Grafana：** ```bash wget https://dl.grafana.com/oss/release/grafana-5.4.2-1.x86_64.rpm sudo yum localinstall grafana-5.4.2-1.x86_64.rpmsystemctl start grafana-serversystemctl enable grafana-server访问 ``` **7. 配置 Grafana：** ``` - Add a data source of type Kafka. - Enter the Kafka server address, port, and version. - Select the created Kafka data source. ``` **8. 下载 Kafka Exporter 模板：** ```bash wget https://grafana.com/api/dashboards/7589/revisions/5/download ``` **9. 设置数据源：** - Select the newly created Kafka data source. - Choose the desired data. **10. 启动 Kafka Exporter：** ```bash ./kafka_exporter --config.file=kafka_exporter.yml > kafka_exporter.log & ``` **11. 启动 Grafana：** ```bash ./prometheus --config.file=prometheus.yml > prometheus.log & ```

正文

https://zhuanlan.zhihu.com/p/57704357

Kafka Exporter 监控 Kafka 实时数据

需要安装的组件

Prometheus：时序数据库，按时间保存监控历史数据。语言：Go

Grafana：metrics 可视化系统

Kafka Exporter：一个用Go 语言写的 Kafka 外部工具，相比JMX 优势在于不需要消耗 JVM资源，就可以对 Kafka 集群进行监控

监控方案

Kafka Export ：每个 kafka 集群一个。需要一个端口

Prometheus 和 Grafana 可以部署在同一台服务器，也可以分开部署

部署

1、Kafka Exporter 部署

Wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

Tar xzvf kafka_exporter-1.2.0.linux-amd64.tar.gz

Cd kafka_exporter-1.2.0.linux-amd64

启动监控工具

nohup ./kafka_exporter \
--kafka.server=192.168.1.160:19092 \
--kafka.version=1.1.0 --log.level=info > kafka_exporter.log  --web.listen-address=9308 &

# --kafka.server=kafka_broker_address
# --kafka.version=kafka_version
# --log.leve=日志等级

更详细的配置参阅：

https://github.com/danielqsj/kafka_exporter#run-binary

启动完成后访问以下地址:

http://192.168.1.1:9308/metrics

可以看到 Prometheus 格式数据

2、Prometheus 部署、配置

下载 Prometheus 安装包

Wget https://github.com/prometheus/prometheus/releases/download/v2.6.0/prometheus-2.6.0.linux-amd64.tar.gz

Tar xzvf prometheus-2.6.0.linux-amd64.tar.gz

Cd prometheus-2.6.0.linux-amd64

Vim Prometheus.yml

添加红框中的内容，注意这是 yml 文件格式要求很严格

启动 Prometheus

nohup ./prometheus --config.file=prometheus.yml > prometheus.log &

http://192.168.1.1:9090

可以检索到 kafka 的数据

3、Grafana 配置安装

下载 Grafana

wget https://dl.grafana.com/oss/release/grafana-5.4.2-1.x86_64.rpm 
sudo yum localinstall grafana-5.4.2-1.x86_64.rpm

systemctl start grafana-server
systemctl enable grafana-server

访问已经安装好的 Grafana 地址

http://192.168.1.1:3000

默认用户名/密码：admin/admin

添加数据源

下载 Kafka Exporter 模板

wget https://grafana.com/api/dashboards/7589/revisions/5/download

导入 Kafka Exporter 模板

选择数据源。因为我已经配置过，所以会有提示。

然后我们就可以在 dashboard 中看见 kafka 历史/实时数据监控了。

编辑于 2019-07-22 17:52