[转帖]RabbitMQ学习笔记02:Hello World!

rabbitmq,学习,笔记,hello,world · 浏览次数 : 0

小编点评

**代码展示** ```python import pika import sys, os connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel() channel.queue_declare(queue='hello') def callback(ch, method, properties, body): print(" [x] Received %r" % body.decode()) channel.basic_consume(queue='hello', on_message_callback=callback, auto_ack=True) print(' [*] Waiting for messages. To exit press CTRL+C') channel.start_consuming() if __name__ == '__main__': try: main() except KeyboardInterrupt: print('Interrupted') try: sys.exit(0) except SystemExit: os._exit(0) ``` **代码解释** 1. **pika**库用于连接 RabbitMQ server。 2. **channel**对象用于与 RabbitMQ server进行交互。 3. **queue_declare**方法用于创建名为 "hello" 的队列。 4. **callback**方法用于处理队列中的消息。 5. **channel.basic_consume**方法用于从队列中消费消息。 6. **channel.start_consuming**方法用于启动消费者,并持续等待消息。 7. **if __name__ == '__main__':**块用于主程序的执行。 8. **main**函数用于实现消息队列的工作流程。 9. **pika**库的 `list_queues` 方法用于查看 RabbitMQ 实例中的当前存在的队列及其队列中的消息数量。 **其他信息** * `pika`库使用 `Pika` RabbitMQ broker。 * `pika`库提供了 `blocking` 和 ``non_blocking`` 模式,用于连接 RabbitMQ server。 * ``channel.basic_consume``方法用于从队列中消费消息,并自动处理消息消费的线程。 * ``channel.start_consuming``方法用于启动消费者,并持续等待消息。 * ``channel.basic_publish``方法用于将消息发布到队列中。 * ``channel.stop_consuming``方法用于停止消费者,并释放所有资源。

正文

 

 

参考资料:RabbitMQ tutorial - "Hello world!" — RabbitMQ 

 

 

前言

RabbitMQ是一个中间人,它接受和转发消息。我们可以把它想象成一个邮局:当你把邮件投入邮箱的时候,你可以确信它最终会被投递到收件人的手中。RabbitMQ就是那个邮箱、邮局和邮差。区别就在于RabbitMQ投递的是二进制的消息数据。

这里有一些术语需要说明。

发送、产生消息的程序我们称之为生产者producer,使用此图标表示

队列queue就是一个有名字的邮箱,虽然消息会在RabbitMQ和你的应用程序之间流动,但是它们可以持久保存在队列中。队列会收到主机的内存和磁盘容量的限制。多个生产者可以向一个队列发送消息,同时多个消费者consumer也可以从一个队列中消费/接收消息。

队列的图标如下

接收、消费消息的程序我们称之为消费者consumer,使用此图标表示

注意,生产者、消费者以及RabbitMQ不需要位于同一台服务器上。事实上,绝大多数情况中,它们都分别位于不同的服务器上。生产者和消费者可以是同一个程序实现。

这里我们的实验环境,生产者和消费者是独立的程序文件,但是它们以及RabbitMQ都位于同一台服务器上。

 

 

Hello World!

学习RabbitMQ,其中的生产者和消费者需要用户自己使用编程语言来实现。我本人是一名运维工程师,有过bash, awk的经验,2017年学习廖雪峰的Python学了一半,近期又学习了B站高淇老师的Java前三章(包含面向对象),对于Python和Java语言算是一知半解,大概看得懂又写不出来的水平。我自己尝试了下,即使没有编程基础,只要我们严格按照官方的教程指导,也是可以将这些代码实现的。

这部分我们使用python手写生产者和消费者,使用RabbitMQ自带的guest账户。生产者会发送一条简单的消息给到名为hello的队列,消费者从队列会收到这条消息并将其打印出来。

简单的流程图如图所示,队列就有点类似于代表了消费者去接收了这条消息。

我们的操作系统自带了python 3.9,无论是键入python又或者是python3,都是指向python3,这点可以从字符链接里面看出来。

[root@rabbitmq-01 ~]# ls -l $(which python)
lrwxrwxrwx. 1 root root 9 Dec 12 20:51 /usr/bin/python -> ./python3
[root@rabbitmq-01 ~]# ls -l $(which python3)
lrwxrwxrwx. 1 root root 9 Dec 12 20:42 /usr/bin/python3 -> python3.9

我们需要使用到 Pika库来使得我们的python代码可以连接RabbitMQ,这个库也是官方推荐的。

python -m pip install pika --upgrade

如果没有安装pip的话,可以使用

python -m ensurepip --upgrade

接下来就可以开始正式写python代码了。

Sending

我们的第一个程序send.py会发送一条消息到队列hello中。首先我们需要建立连接。

#!/usr/bin/env python
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()

连接建立完毕,在发送消息之前,我们需要确保队列hello必须存在,否则我们发送出去的消息就会被丢弃。因此我们创建队列。

channel.queue_declare(queue='hello')

此时我们可以开始发送消息了,我们计划发送消息Hello World!到队列hello中去。

在mq中,消息无法直接发送到队列中去,必须要经过exchange。目前我们还不需要对其进行展开理解,大家直到这么个概念即可,后续在讲解RabbitMQ tutorial - Publish/Subscribe — RabbitMQ的时候会涉及到。

我们现在只需要将其发送给默认的exchange,使用空字符串来识别它。它是一个特殊的exchange,允许我们指定要发送消息的队列,队列使用routing_key参数来指定。

channel.basic_publish(exchange='',
                      routing_key='hello',
                      body='Hello World!')
print(" [x] Sent 'Hello World!'")

这里的print只是用来告诉用户我们做了什么。

消息发送完毕了,在我们退出程序前,我们应该确保网络buffer已经被清空,我们的消息真的发出去了。这里通过优雅地关闭连接来实现。

connection.close()

发送到这里就结束了,如果消息没有发送成功的话,可以考虑从日志入手排查问题。

Receiving

第二个程序是消费者receive.py,它将会从队列中接收消息并将其打印出来。

首先我们需要连接到服务器上,这部分代码和生产者代码相同。

接下来,同样我们需要确保队列的存在性。使用queue_declare创建队列是幂等(idempotent)的,即使执行多次也只会创建一个队列。

channel.queue_declare(queue='hello')

之所以在这里重复创建队列,是为了

  • 我们可能不知道生产者和消费者程序,哪个会先运行,因此最好在两端都创建队列。
  • 创建队列的操作需要具备幂等性。

从队列中接收一个消息会更加复杂,它工作方式是订阅一个callback函数到队列上。每当队列中有消息出现的时候,callback函数都会被Pika库调用。在本案例中,callback函数会打印消息在屏幕上。

def callback(ch, method, properties, body):
    print(" [x] Received %r" % body)

接下来我们告诉mq,这个特定的callback函数需要从队列hello接收消息。这一步需要确保队列已存在,好在我们上面的代码已经确保过了。

channel.basic_consume(queue='hello',
                      auto_ack=True,
                      on_message_callback=callback)

auto_ack参数将会在RabbitMQ tutorial - Work Queues — RabbitMQ中讲解。

接下来我们进入无限循环,在循环中我们等待队列中一旦出现新的消息,我们就会将其消费掉然后输出消息的内容。

直到用户输入Ctrl+C来停止程序。

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
if __name__ == '__main__':
    try:
        main()
    except KeyboardInterrupt:
        print('Interrupted')
        try:
            sys.exit(0)
        except SystemExit:
            os._exit(0)

Putting it all together

send.py

#!/usr/bin/env python
import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.queue_declare(queue='hello')

channel.basic_publish(exchange='', routing_key='hello', body='Hello World!')
print(" [x] Sent 'Hello World!'")
connection.close()

receive.py

#!/usr/bin/env python
import pika, sys, os

def main():
    connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
    channel = connection.channel()

    channel.queue_declare(queue='hello')

    def callback(ch, method, properties, body):
        print(" [x] Received %r" % body.decode())

    channel.basic_consume(queue='hello', on_message_callback=callback, auto_ack=True)

    print(' [*] Waiting for messages. To exit press CTRL+C')
    channel.start_consuming()

if __name__ == '__main__':
    try:
        main()
    except KeyboardInterrupt:
        print('Interrupted')
        try:
            sys.exit(0)
        except SystemExit:
            os._exit(0)

把python代码文件放到服务器上,准备开始测试。

首先打开第一个终端,运行消费者程序receive.py,它会占用前端一直运行下去,一旦有消息就会打印,直到来自用户的终止指令Ctrl+C

[root@rabbitmq-01 code]# python receive.py 
 [*] Waiting for messages. To exit press CTRL+C

打开第二个终端,运行生产者程序send.py,每运行一次它都会向队列hello发送一条消息Hello World!同时输出到终端,随后它就会退出,不会占用前端资源。

[root@rabbitmq-01 code]# python send.py 
 [x] Sent 'Hello World!'

此时我们回到消费者终端,它会按照程序中说的消费掉队列中的消息并将其输出。

[root@rabbitmq-01 code]# python receive.py 
 [*] Waiting for messages. To exit press CTRL+C
 [x] Received 'Hello World!'

send.py可以反复执行。

[root@rabbitmq-01 code]# python send.py 
 [x] Sent 'Hello World!'
[root@rabbitmq-01 code]# python send.py 
 [x] Sent 'Hello World!'
[root@rabbitmq-01 code]# python send.py 
 [x] Sent 'Hello World!'
[root@rabbitmq-01 code]# python send.py 
 [x] Sent 'Hello World!'

消费者程序都可以捕获。

[root@rabbitmq-01 code]# python receive.py 
 [*] Waiting for messages. To exit press CTRL+C
 [x] Received 'Hello World!'
 [x] Received 'Hello World!'
 [x] Received 'Hello World!'
 [x] Received 'Hello World!'

我们可以通过rabbitmqctl list_queues来查看mq实例中当前存在的队列以及队列中的消息数量。

[root@rabbitmq-01 rabbitmq_server-3.11.5]# ./sbin/rabbitmqctl list_queues
Timeout: 60.0 seconds ...
Listing queues for vhost / ...
name	messages
hello	0

因为消息在一瞬间就被消费掉了,所以我们看到的消息数量都会是0。

想要退出的话就是在消费中终端执行Ctrl+C

 [x] Received 'Hello World!'
 [x] Received 'Hello World!'
^CInterrupted

 

 

总结

这篇博文讲述了基本的消息队列的工作模型。我们学会了RabbitMQ的基本概念(生产者、消费者和队列),并了解如何使用代码来实现。

与[转帖]RabbitMQ学习笔记02:Hello World!相似的内容:

[转帖]RabbitMQ学习笔记02:Hello World!

参考资料:RabbitMQ tutorial - "Hello world!" — RabbitMQ 前言 RabbitMQ是一个中间人,它接受和转发消息。我们可以把它想象成一个邮局:当你把邮件投入邮箱的时候,你可以确信它最终会被投递到收件人的手中。RabbitMQ就是那个邮箱、邮局和邮差。区别就在

[转帖]RabbitMQ学习笔记01:初识与安装

https://www.cnblogs.com/alongdidi/p/rabbitmq_overview.html 原作者写的真好. 前言 本人是一名运维工程师,在此公司接触到 RabbitMQ ,平时针对此软件的工作内容就是集群的安装以及配置监控等,对其的理解也仅仅是知道其是一种消息队列的服务,

[转帖]RabbitMQ学习笔记03:Work Queues

参考资料:RabbitMQ tutorial - Work Queues — RabbitMQ 前言 这篇文章我们会创建一个Work Queue,它会在多个worker(即消费者 consumer)中分发耗时的任务。Work Queue也叫做Task Queue是为了避免当处理一个占用资源的任务时必

[转帖]RabbitMQ学习笔记04:Publish/Subscribe

参考资料:RabbitMQ tutorial - Publish/Subscribe — RabbitMQ 前言 在 RabbitMQ学习笔记03:Work Queues 中,每个进入队列中的消息只会被投递给一个消费者进程。而在这篇文章中,我们将会把一条消息同时投递给多个消费者进程。这种模式也叫做p

[转帖]RabbitMQ学习笔记05:Routing

参考资料:RabbitMQ tutorial - Routing — RabbitMQ 前言 在之前的文章中我们构建了一个简单的日志系统,它可以广播消息到多个消费者中。 在这篇文章中,我们打算实现仅订阅消息的子集(即不是所有的消息,仅仅只是一部分消息。注意,这里不是说一条消息的一部分)。例如我们只会

[转帖]RabbitMQ学习笔记06:Topics

https://www.cnblogs.com/alongdidi/p/rabbitmq_tutorial_five.html 前言 在上一篇博文中我们使用direct类型的exchange改善了我们的日志系统,但是它仍然有一定的限制,它没有办法基于多个条件路由消息。 我们可能不仅仅希望基于日志级别

[转帖]RabbitMQ学习笔记07:RPC

https://www.cnblogs.com/alongdidi/p/rabbitmq_tutorial_six.html 参考资料:RabbitMQ tutorial - Remote procedure call (RPC) — RabbitMQ Remote Procedure Call W

[转帖]RabbitMQ:Exchange的Fanout类型的介绍和使用

https://blog.csdn.net/weixin_45492007/article/details/106095591 1.声明 当前的内容用于本人学习和使用Fanout类型的Exchange,主要理解其主要作用 2.Fanout Exchange的官方介绍 扇出交换机将消息路由到与其绑定的

[转帖]RabbitMQ服务优化,修改最大连接数

https://www.cnblogs.com/hoyeong/p/16242202.html RabbitMQ的优化RabbitMQ的连接数是压垮消息队列的一个重要的指标。所以在平时使用OpenStack平台的过程中,如果大量的用户同时创建虚拟机,会导致云平台创建报错,其实就是消息队列服务的崩溃。

[转帖]RabbitMQ性能优化

https://www.cnblogs.com/zhengchunyuan/p/9253728.html 修改rabbitmq.config文件 rabbitmq.config文件时rabbitmq的配置文件,他遵守Erlang配置文件定义。 rabbitmq.config文件位置: Unix $R