MQ 消息队列 比较

mq,消息,队列,比较 · 浏览次数 : 111

小编点评

消息队列(比如 Apache RocketMQ,Apache Kafka)的加入主要有以下几个原因: 1. **业务耦合过度:**上下游系统之间的通信是彼此依赖的,所以必须协调上下游所有的资源同步进行。跨团队处理问题显然比在团队内部处理问题难度大。 2. **性能问题:**短平快的方式在流量低峰期服务器相对较闲,而消息队列可以帮助减少服务器压力,提高性能。 3. **容错能力:**消息队列可以帮助处理大量请求,即使服务不可用,业务也不受影响。 4. **可扩展性:**消息队列可以帮助处理高并发场景的请求,并随着系统负载增加,可以轻松扩展。 5. **消息持久化:**消息队列可以确保消息的持久化,即使服务器重启,数据也不会丢失。 6. **消息路由:**消息队列可以帮助路由请求,并根据不同的消息路由到相应的业务处理组件。

正文

为什么需要消息队列

削峰

业务系统在超高并发场景中,由于后端服务来不及同步处理过多、过快的请求,可能导致请求堵塞,严重时可能由于高负荷拖垮Web服务器。
为了能支持最高峰流量,我们通常采取短平快的方式——直接扩容服务器,增加服务端的吞吐量。
优点是显而易见的,短时间内吞吐量增加了好几倍,甚至数十倍。缺点也明显,流量低峰期服务器相对较闲。
消息队列(比如 Apache RocketMQ,Apache Kafka),也是目前业界比较常用的手段

解耦

不同的业务端在联合开发功能时,常常由于排期不同、人员调配不方便等原因导致项目延期。其实,其根本原因是业务耦合过度。
上下游系统之间的通信是彼此依赖的,所以不得不协调上下游所有的资源同步进行,跨团队处理问题显然比在团队内部处理问题难度大。

你是否依稀记得另一个团队的同事调用你的API,你告诉他发个请求过来,你打断点一步一步调试代码的场景?
你是否记得为了协调开发资源、QA 资源,以及协调上线时间等所做的一切,你被老板骂了多少次,最后还是延期了:我们依赖他们,他们的QA说,高峰期不让发布。
加入消息队列后,不同的业务端又会是何种情况呢?上下游系统进行开发、联调、上线,彼此完全不依赖,也就是说,系统间解耦了
image

异步

处理订票请求是一个漫长的过程,需要检查预订的车次是否有预订数量的票、下单扣库存、更新缓存等一系列操作。这些耗时的操作,我们可以通过使用消息队列的方式,把提交请求成功的消息告诉用户

数据一致性

消息系统的优点:
(1)免去了多次重试(发起请求)的复杂逻辑。
(2)免去了处理过多重试请求的压力。
(3)即使服务不可用,业务也不受影响。

常见消息队列

消息队列名字 Apache ActiveMQ Apache Kafka Apache RocketMQ
产生时间 2007 2012 2017
贡献公司 Apache LinkedIn 阿里巴巴
当时流行MQ JMS ActiveMO Kafka,ActiveMO
特性 (1)支持协议众多:AMOP,STOMP,MOTT,JMS
(2)消息是持久化的JDBC
(1)超高写入速率
(2)end-to-end 耗时毫秒级
(1)万亿级消息支持
(2)万级Topic数量支持
(3)end-to-end耗时毫秒级
管理后台 自带 独立部署 独立部署
多语言客户端 支持 支持 Java、C++、Python、Go、C#
数据流支持 不支持 支持 支持
消息丢失 理论上不会丢失 理论上不会丢失 理论上不会丢失
文档完备性 极好 极好
商业公司实践 国内部分企业 LinkedIn 阿里巴巴
容错 无重试机制 无重试机制 支持重试,死信消息
顺序消息 支持 支持 支持
定时消息 不支持 不支持 支持
事务消息 不支持 支持 支持
消息轨迹 不支持 不支持 支持
消息查询 数据库中查询 不支持 支持
重放消息 不清楚 暂停重放 实时重放
宕机 自动切换 自动选主 手动重启

与MQ 消息队列 比较相似的内容:

MQ 消息队列 比较

为什么需要消息队列 削峰 业务系统在超高并发场景中,由于后端服务来不及同步处理过多、过快的请求,可能导致请求堵塞,严重时可能由于高负荷拖垮Web服务器。 为了能支持最高峰流量,我们通常采取短平快的方式——直接扩容服务器,增加服务端的吞吐量。 优点是显而易见的,短时间内吞吐量增加了好几倍,甚至数十倍。

从Kafka中学习高性能系统如何设计

相信各位小伙伴之前或多或少接触过消息队列,比较知名的包含Rocket MQ和Kafka,在京东内部使用的是自研的消息中间件JMQ,从JMQ2升级到JMQ4的也是带来了性能上的明显提升,并且JMQ4的底层也是参考Kafka去做的设计。在这里我会给大家展示Kafka它的高性能是如何设计的,大家也可以学习相关方法论将其利用在实际项目中,也许下一个顶级项目就在各位的代码中产生了。

对 Pulsar 集群的压测与优化

前言 这段时间在做 MQ(Pulsar)相关的治理工作,其中一个部分内容关于消息队列的升级,比如: 一键创建一个测试集群。 运行一批测试用例,覆盖我们线上使用到的功能,并输出测试报告。 模拟压测,输出测试结果。 本质目的就是想直到新版本升级过程中和升级后对现有业务是否存在影响。 一键创建集群和执行测

MQ消息队列篇:三大MQ产品的必备面试种子题

MQ(Message Queue)作为一种用于实现异步通信的技术,具有重要的作用和应用场景。在面试过程中,MQ相关的问题经常被问到,因此了解MQ的用途和设计原则是必不可少的。本文总结了MQ的常见面试题,包括MQ的作用、产品选型、消息不丢失的保证、消息消费的幂等性、消息顺序的保证、消息的高效读写、分布式事务的最终一致性等方面。通过深入理解这些问题,可以更好地理解MQ的应用和设计,为面试和实际应用提供参考。

MQ系列8:数据存储,消息队列的高可用保障

MQ系列1:消息中间件执行原理 MQ系列2:消息中间件的技术选型 MQ系列3:RocketMQ 架构分析 MQ系列4:NameServer 原理解析 MQ系列5:RocketMQ消息的发送模式 MQ系列6:消息的消费 MQ系列7:消息通信,追求极致性能 1 介绍 在之前的章节中,我们介绍了消息的发送

[转帖]消息队列中间件-概述

1. 简介 MQ(Message Queue)消息队列是一种应用程序对应用程序的通信方法,应用程序通过读(出队)写(入队)队列的消息(针对应用程序的数据)进行通信。 MQ是消费者-生产者模型的典型代表,生产者往消息队列中不断写入消息,而消费者则可以读取或者订阅队列中的消息,并进行消息处理。 消息队列

MQ系列10:如何保证消息幂等性消费

MQ系列1:消息中间件执行原理 MQ系列2:消息中间件的技术选型 MQ系列3:RocketMQ 架构分析 MQ系列4:NameServer 原理解析 MQ系列5:RocketMQ消息的发送模式 MQ系列6:消息的消费 MQ系列7:消息通信,追求极致性能 MQ系列8:数据存储,消息队列的高可用保障 M

MQ系列11:如何保证消息可靠性传输(除夕奉上)

MQ系列1:消息中间件执行原理 MQ系列2:消息中间件的技术选型 MQ系列3:RocketMQ 架构分析 MQ系列4:NameServer 原理解析 MQ系列5:RocketMQ消息的发送模式 MQ系列6:消息的消费 MQ系列7:消息通信,追求极致性能 MQ系列8:数据存储,消息队列的高可用保障 M

RabbitMQ保姆级教程最佳实践

一、消息队列介绍 1、消息队列概念 1、MQ全称为Message Queue,消息队列(MQ)是⼀种应⽤程序对应⽤程序的通信⽅法。 应⽤程序通过读写出⼊队列的消息(针对应⽤程序的数据)来通信,⽽⽆需专⽤连接来 链接它们。 2、消息传递指的是程序之间通过在消息中发送数据进⾏通信,⽽不是通过直接调⽤彼此

MQ系列9:高可用架构分析

MQ系列1:消息中间件执行原理 MQ系列2:消息中间件的技术选型 MQ系列3:RocketMQ 架构分析 MQ系列4:NameServer 原理解析 MQ系列5:RocketMQ消息的发送模式 MQ系列6:消息的消费 MQ系列7:消息通信,追求极致性能 MQ系列8:数据存储,消息队列的高可用保障 1