strimzi实战之二:部署和消息功能初体验

strimzi,实战,之二,部署,消息,功能,初体验 · 浏览次数 : 147

小编点评

# strimzi基础功能实战 ## 1. 快速部署strimzi - 使用kubectl部署命令,快速部署strimzi,并设置默认命名空间。 - 可以使用kubectl获取pod信息,查看strimzi容器的地址。 ``` kubectl deploy -n kafka -f strimzi-cluster-operator-566948f58c-pj45s my-cluster-entity-operator-66598599fc-fz7wx kubectl get pod -ANAMESPACE --name my-cluster-entity-operator-66598599fc-fz7wx ``` ## 2. 收发消息 - 使用kubectl获取pod信息,查看接收消息的地址。 - 可以使用kubectl获取消息信息,查看接收消息的内容。 ``` kubectl get pod -ANAMESPACE --name my-cluster-entity-operator-66598599fc-fz7wx --message-body ``` ## 3. 数据处理 - 可以使用kubectl获取pod信息,查看数据处理的配置。 - 可以使用kubectl获取消息信息,查看数据处理的进度。 ``` kubectl get pod -ANAMESPACE --name my-cluster-entity-operator-66598599fc-fz7wx --data-processing-config kubectl get message -ANAMESPACE --name my-cluster-entity-operator-66598599fc-fz7wx --data-processing-progress ``` ## 4. 其他功能 - 可以使用kubectl获取pod信息,查看其他资源的地址。 - 可以使用kubectl获取消息信息,查看其他资源的内容。 ``` kubectl get pod -ANAMESPACE --name my-cluster-entity-operator-66598599fc-fz7wx --other-resources kubectl get message -ANAMESPACE --name my-cluster-entity-operator-66598599fc-fz7wx --other-resources ``` ## 5. 总结 通过以上操作,我们可以快速部署strimzi和收发消息,并设置默认命名空间。我们可以使用kubectl获取pod信息,查看其他资源的地址和内容。我们可以使用kubectl获取消息信息,查看其他资源的内容。

正文

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

本篇概览

  • 本篇是《strimzi实战》系列的第二篇,前文完成了介绍和准备工作,是时候体验strimzi的核心功能了:发送和接受kafka消息,为了完成这个目标,本篇会按照如下步骤开始实战:
  1. 在kubernetes环境部署strimzi,这里面包含两个步骤:首先是将各类资源创建好,然后再启动strmzi
  2. 验证基本功能:发送和接受kafka消息,这里面有两种操作(注意,是两种里面二选一,不是两步):如果您的kubernetes环境有pv,就可以选择使用pv的操作步骤,如果您没有pv,就选择不用pv的操作步骤
  3. 删除操作
  • 接下来开始实战

部署

  • 创建namespace
kubectl create namespace kafka
  • 部署角色、权限、CRD等资源
kubectl create -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka

启动

  • 接下来的启动操作,根据您的实际情况,有两种可选
  1. 第一种:如果您的k8s环境已经准备好了pv,请执行以下命令完成部署,strimzi会通过pvc去申请使用pv,这样就算pod有问题被删除重建了,kafka消息的数据也不会丢失
kubectl apply -f https://strimzi.io/examples/latest/kafka/kafka-persistent-single.yaml -n kafka
  1. 第二种,如果您的k8s环境还没有准备好pv,请执行以下命令完成部署,这样创建的kafka服务也能正常使用,只不过所有数据都存在pod中,一旦pod被删除,数据就找不回来了
kubectl apply -f https://strimzi.io/examples/latest/kafka/kafka-ephemeral-single.yaml -n kafka
  • 以上两种方式只要选择一种去执行即可,执行完命令后,需要等待镜像下载和服务创建,尤其是镜像下载,实测真的慢啊,我用腾讯云服务器大约等了七八分钟
[root@VM-12-12-centos ~]# kubectl get pod -n kafka
NAME                                        READY   STATUS              RESTARTS   AGE
strimzi-cluster-operator-566948f58c-h2t6g   0/1     ContainerCreating   0          16m
  • 等到operator的pod运行起来后,就该创建zookeeper的pod了,继续等镜像下载...
[root@VM-12-12-centos ~]# kubectl get pods -n kafka
NAME                                        READY   STATUS              RESTARTS   AGE
my-cluster-zookeeper-0                      0/1     ContainerCreating   0          7m59s
my-cluster-zookeeper-1                      0/1     ContainerCreating   0          7m59s
my-cluster-zookeeper-2                      0/1     ContainerCreating   0          7m59s
strimzi-cluster-operator-566948f58c-h2t6g   1/1     Running             0          24m
  • 如下图红色箭头所指,显示正在拉取zookeeper镜像
    在这里插入图片描述
  • 等到zookeeper的pod创建完成后,终于轮到主角登场了:开始kafka的pod创建,最后,来个全家福,如下所示,一套具备基本功能的kafka环境
[root@VM-12-12-centos ~]# kubectl get pods -n kafka
NAME                                          READY   STATUS    RESTARTS   AGE
my-cluster-entity-operator-66598599fc-sskcx   3/3     Running   0          73s
my-cluster-kafka-0                            1/1     Running   0          96s
my-cluster-zookeeper-0                        1/1     Running   0          14m
my-cluster-zookeeper-1                        1/1     Running   0          14m
my-cluster-zookeeper-2                        1/1     Running   0          14m
strimzi-cluster-operator-566948f58c-h2t6g     1/1     Running   0          30m

基本操作:收发消息

  • strimzi部署已经OK,现在收发消息试试,看kafka基本功能是否正常
  • 接下来的操作需要两个控制台窗口,一个用于发消息,一个用于收消息
  • 在发消息的窗口输入以下命令,就会创建名为my-topic的topic,并且进入发送消息的模式
kubectl -n kafka \
run kafka-producer \
-ti \
--image=quay.io/strimzi/kafka:0.32.0-kafka-3.3.1 \
--rm=true \
--restart=Never \
-- bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9092 --topic my-topic
  • 在收消息的窗口输入以下命令,就会进入消费消息的模式,topic是my-topic
kubectl -n kafka \
run kafka-consumer \
-ti \
--image=quay.io/strimzi/kafka:0.32.0-kafka-3.3.1 \
--rm=true \
--restart=Never \
-- bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9092 --topic my-topic --from-beginning
  • 然后,在发送消息的窗口输入一些文字后再回车,消息就会发送出去,如下图,左侧红框显示一共发送了四次消息,最后一次是空字符串,右侧黄框显示成功收到四条消息
    在这里插入图片描述

  • 如果您的kubernetes环境是按照《快速搭建云原生开发环境(k8s+pv+prometheus+grafana)》的方法来部署的,现在就能通过grafana看到命名空间kafka下面的资源了,如下图
    在这里插入图片描述

  • 另外,如果您使用了pv,还可以关注一下pv的使用情况,如下图,kafka的zookeeper的数据都改为外部存储了,数据不会因为pod问题而丢失
    在这里插入图片描述

  • 不过由于我们还没有将strimzi的监控配置好,现在还看不到kafka业务相关的指标情况,只能从k8s维度去查看pod的基本指标,这些会在后面的章节补齐

删除操作

  • 如果需要把strimzi从kubernetes环境删除,执行以下操作即可:
  • 如果您使用了pv,就执行以下命令完成删除
kubectl delete -f https://strimzi.io/examples/latest/kafka/kafka-persistent-single.yaml -n kafka \
&& kubectl delete -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka \
&& kubectl delete namespace kafka
  • 如果您没有使用pv,就执行以下命令完成删除
kubectl delete -f https://strimzi.io/examples/latest/kafka/kafka-ephemeral-single.yaml -n kafka \
&& kubectl delete -f 'https://strimzi.io/install/latest?namespace=kafka' -n kafka \
&& kubectl delete namespace kafka
  • 再去检查所有pod,已看不到strimzi的痕迹
[root@VM-12-12-centos ~]# kubectl get pod -A
NAMESPACE            NAME                                          READY   STATUS    RESTARTS   AGE
calico-apiserver     calico-apiserver-67b7856948-bg2wh             1/1     Running   0          6d2h
calico-apiserver     calico-apiserver-67b7856948-fz64n             1/1     Running   0          6d2h
calico-system        calico-kube-controllers-78687bb75f-z2r7m      1/1     Running   0          6d2h
calico-system        calico-node-l6nmw                             1/1     Running   0          6d2h
calico-system        calico-typha-b46ff96f6-qqzxb                  1/1     Running   0          6d2h
calico-system        csi-node-driver-lv2g2                         2/2     Running   0          6d2h
kafka                my-cluster-entity-operator-66598599fc-fz7wx   3/3     Running   0          4m57s
kafka                my-cluster-kafka-0                            1/1     Running   0          5m22s
kafka                my-cluster-zookeeper-0                        1/1     Running   0          5m48s
kafka                strimzi-cluster-operator-566948f58c-pj45s     1/1     Running   0          6m15s
kube-system          coredns-78fcd69978-57r7x                      1/1     Running   0          6d2h
kube-system          coredns-78fcd69978-psjcs                      1/1     Running   0          6d2h
kube-system          etcd-vm-12-12-centos                          1/1     Running   0          6d2h
kube-system          kube-apiserver-vm-12-12-centos                1/1     Running   0          6d2h
kube-system          kube-controller-manager-vm-12-12-centos       1/1     Running   0          6d2h
kube-system          kube-proxy-x8nhg                              1/1     Running   0          6d2h
kube-system          kube-scheduler-vm-12-12-centos                1/1     Running   0          6d2h
local-path-storage   local-path-provisioner-55d894cf7f-mpd2n       1/1     Running   0          3d21h
monitoring           alertmanager-main-0                           2/2     Running   0          24h
monitoring           alertmanager-main-1                           2/2     Running   0          24h
monitoring           alertmanager-main-2                           2/2     Running   0          24h
monitoring           blackbox-exporter-6798fb5bb4-4hmf7            3/3     Running   0          24h
monitoring           grafana-d9c6954b-qts2s                        1/1     Running   0          24h
monitoring           kube-state-metrics-5fcb7d6fcb-szmh9           3/3     Running   0          24h
monitoring           node-exporter-4fhb6                           2/2     Running   0          24h
monitoring           prometheus-adapter-7dc46dd46d-245d7           1/1     Running   0          24h
monitoring           prometheus-adapter-7dc46dd46d-sxcn2           1/1     Running   0          24h
monitoring           prometheus-k8s-0                              2/2     Running   0          24h
monitoring           prometheus-k8s-1                              2/2     Running   0          24h
monitoring           prometheus-operator-7ddc6877d5-d76wk          2/2     Running   0          24h
tigera-operator      tigera-operator-6f669b6c4f-t8t9h              1/1     Running   0          6d2h
  • 不过,对于pv来说,由于使用的策略是Retain,因此还会继续存在
    在这里插入图片描述
  • 至此,strimzi基本功能实战已经完成,咱们知道了如何快速部署strimzi和收发消息,感受到operator给我们带来的便利,接下来的文章,还会有更多简单的操作,更多精彩的功能等着咱们去尝试,欢迎您继续关注欣宸原创,咱们一起学习共同进步

欢迎关注博客园:程序员欣宸

学习路上,你不孤单,欣宸原创一路相伴...

与strimzi实战之二:部署和消息功能初体验相似的内容:

strimzi实战之二:部署和消息功能初体验

快速部署strimzi,然后体验基本功能:发送和接收消息

strimzi实战之一:简介和准备

strimzi是个CNCF项目,功能是用于在kubernetes环境下部署和配置kafka,并提供了丰富的扩展功能,《strimzi实战》是欣宸新的系列原创,旨在与大家一起通过实战学习和掌握strimzi,并且深入源码

Strimzi Kafka Bridge(桥接)实战之一:简介和部署

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 关于《Strimzi Kafka Bridge(桥接)实战》 在strimzi技术体系中,桥接(bridge)是很要的功能,内容也很丰富,因此将桥接相关的

strimzi实战之三:prometheus+grafana监控(按官方文档搞不定监控?不妨看看本文,已经踩过坑了)

通过strimzi部署的kafka集群,如何部署prometheus+grafana去监控呢?官方文档信息量太大,即便照着做也可能失败,这里有一份详细的保姆级操作指南,助您成功部署监控服务

Strimzi Kafka Bridge(桥接)实战之二:生产和发送消息

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战之》系列的第二篇,咱们直奔bridge的重点:常用接口,用实际操作体验如何用brid

Strimzi Kafka Bridge(桥接)实战之三:自制sdk(golang版本)

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战》的第三篇,前文咱们掌握了Strimzi Kafka Bridge的基本功能:基于h