拼多多面试:Netty如何解决粘包问题?

netty · 浏览次数 : 0

小编点评

**粘包和拆包问题** **粘包问题** * 在网络通信中,发送方连续发送的多个小数据包被接收方一次性接收的现象。 * 这是因为底层传输层协议 (如 TCP) 会将多个小数据包合并成一个大的数据块进行传输,导致接收方在接收数据时一次性接收多个数据包,造成粘连。 * 例如:客户端发送了两条消息,分别为 “ABC” 和 “DEF”,那么接收端也应该收到两条消息 “ABC” 和 “DEF”才对,但是接收端却收到了 “ABCD” 的消息,这种情况就叫做粘包,如图所示: ``` ... ABCD ABC DEF ... ``` **拆包/半包问题** * 在网络通信中,发送方发送的一个大数据包被接收方拆分成多个小数据包进行接收的现象。 * 这是因为底层传输层协议 (如 TCP) 将一个大数据包拆分成多个小的数据块进行传输,导致接收方在接收数据时分别接收多个小数据包,造成拆开。 * 例如:客户端发送了一条消息 “ABC”,而接收端却收到了 “AB” 和 “C” 两条信息,这种情况就叫做半包,如图所示: ``` ... AB C ... ``` **原因** * 由于 TCP 是面向连接的传输协议,它是以“流”的形式传输数据的,而 “流”数据没有明确的开始和结尾边界的,所以可能会出现粘包问题。 * 当发送方连续发送多个小数据包时,接收方可能无法及时处理所有数据,导致部分数据被丢失或重复接收。 * 同样,当接收方在接收数据时遇到数据包长度不足的情况时,也会导致粘包问题。 **解决方案** * **固定大小方法** * 发送方和接收方固定发送数据大小,当字符长度不够时用空字符弥补,有了固定大小之后就知道每条消息的具体边界了,从而避免粘包问题。 * **自定义数据协议** * 在 TCP 协议的基础上封装一层自定义数据协议,在自定义数据协议中,包含数据头(存储数据的大小)和数据的具体内容,这样服务端得到数据之后,通过解析数据头就可以知道数据的具体长度了,也就没有粘包问题。 * **特殊分割符** * 以特殊的字符结尾,比如以“\”结尾,这样我们就知道数据的具体边界了,从而避免了粘包问题。 **其他解决方案** * **Netty 解码器** * Netty 解决方案也延续了上面的常见解决方案,它的解决方案有以下几个:使用定长解码器 (FixedLengthFrameDecoder)、行分隔符解码器 (DelimiterBasedFrameDecoder)、分隔符解码器 (DelimiterBasedFrameDecoder)、长度字段解码器 (LengthFieldBasedFrameDecoder)。 * **自定义解码器** * 除了上述解决方案之外,还可以自定义解码器来处理粘包问题。

正文

粘包和拆包问题也叫做粘包和半包问题,它是指在数据传输时,接收方未能正常读取到一条完整数据的情况(只读取了部分数据,或多读取到了另一条数据的情况)就叫做粘包或拆包问题。

从严格意义上来说,粘包问题和拆包问题属于两个不同的问题,接下来我们分别来看。

1.粘包问题

粘包问题是指在网络通信中,发送方连续发送的多个小数据包被接收方一次性接收的现象。这可能是因为底层传输层协议(如 TCP)会将多个小数据包合并成一个大的数据块进行传输,导致接收方在接收数据时一次性接收了多个数据包,造成粘连。

例如以下案例,正常情况下客户端发送了两条消息,分别为“ABC”和“DEF”,那么接收端也应该收到两条消息“ABC”和“DEF”才对,但是接收端却收到了“ABCD”这样的消息,这种情况就叫做粘包,如下图所示:
image.png

2.拆包/半包问题

拆包问题是指发送方发送的一个大数据包被接收方拆分成多个小数据包进行接收的现象。这可能是因为底层传输层协议(如 TCP)将一个大数据包拆分成多个小的数据块进行传输,导致接收方在接收数据时分别接收了多个小数据包,造成拆开。

例如以下案例,客户端发送了一条消息“ABC”,而接收端却收到了“AB”和“C”两条信息,这种情况就叫做半包,如下图所示:
image.png

PS:大部分情况下我们都把粘包问题和拆包问题看成同一个问题,所以下文就用粘包问题来替代粘包和拆包问题。

3.为什么会有粘包问题?

粘包问题通常发生在 TCP/IP 协议中,因为 TCP 是面向连接的传输协议,它是以“流”的形式传输数据的,而“流”数据是没有明确的开始和结尾边界的,所以就会出现粘包问题

4.常见解决方案

粘包问题的常见解决方案有以下 3 种:

  1. 固定大小方法:发送方和接收方固定发送数据大小,当字符长度不够时用空字符弥补,有了固定大小之后就知道每条消息的具体边界了,这样就没有粘包的问题了。
  2. 自定义数据协议(定义数据长度):在 TCP 协议的基础上封装一层自定义数据协议,在自定义数据协议中,包含数据头(存储数据的大小)和 数据的具体内容,这样服务端得到数据之后,通过解析数据头就可以知道数据的具体长度了,也就没有粘包的问题了。
  3. 特殊分割符:以特殊的字符结尾,比如以“\n”结尾,这样我们就知道数据的具体边界了,从而避免了粘包问题。

以上三种方案中,第一种固定大小的方法可能会造成网络流量的浪费,以及传输性能慢的问题;第二种解决方案实现难度大,且不利于维护,所以比较推荐的是第三种方案,使用特殊分隔符来区分消息的边界,从而避免粘包问题。

5.Netty解决方案

Netty 解决方案也延续了上面的常见解决方案,它的解决方案有以下几个:

  1. 使用定长解码器(FixedLengthFrameDecoder):每个数据包都拥有固定的长度,接收端根据固定长度对数据进行切分,从而解决了粘包问题。
  2. 使用行分隔符解码器(LineBasedFrameDecoder):以行为单位进行数据包的解码,从而解决粘包问题。
  3. 使用分隔符解码器(DelimiterBasedFrameDecoder):使用特定的分隔符来标识消息边界,这样接收端可以根据分隔符正确切分消息。
  4. 使用长度字段解码器(LengthFieldBasedFrameDecoder):在消息头部加入表示消息长度的字段,接收端根据长度字段来确定消息的边界,而从解决粘包问题。

PS:在 Netty 中,解码器(Decoder)起着非常重要的作用。解码器主要负责将从网络中接收到的原始字节流数据转换为应用程序能够理解的 Java 对象或消息格式。使用解码器可以解决粘包和拆包问题、协议转换问题、消息编码(如文本转换为字节流)等问题。

这些解码器的使用如下。

5.1 定长解码器

定长解码器(FixedLengthFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();
// 假设每条消息长度为 5
pipeline.addLast(new FixedLengthFrameDecoder(5)); 
pipeline.addLast(new StringDecoder());
pipeline.addLast(new YourBusinessLogicHandler());

5.2 行分隔符解码器

行分隔符解码器(LineBasedFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();
// 设置行分隔符解码器最大(帧)长度为 8192 字节
pipeline.addLast(new LineBasedFrameDecoder(8192)); 
pipeline.addLast(new StringDecoder()); // 添加字符串解码器
pipeline.addLast(new SimpleChannelInboundHandler<String>() {
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
        System.out.println("接收到消息:" + msg);
    }
});

5.3 分隔符解码器

分隔符解码器(DelimiterBasedFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();
// 使用 \r\n 来进行分隔
ByteBuf delimiter = Unpooled.copiedBuffer("\r\n".getBytes());
pipeline.addLast(new DelimiterBasedFrameDecoder(1024, delimiter));
pipeline.addLast(new StringDecoder());
pipeline.addLast(new YourBusinessLogicHandler());

5.4 长度字段解码器

长度字段解码器(LengthFieldBasedFrameDecoder)使用示例如下:

ChannelPipeline pipeline = ch.pipeline();
// 设置最大帧长度为 1024 字节,长度字段位于第 0 个字节,长度字段占用 4 个字节
pipeline.addLast(new LengthFieldBasedFrameDecoder(1024, 0, 4, 0, 4));
pipeline.addLast(new LengthFieldPrepender(4));
pipeline.addLast(new StringDecoder());
pipeline.addLast(new StringEncoder());
pipeline.addLast(new LengthFieldServerHandler());

课后思考

除了定长解码器、行分隔符解码器、分隔符解码器、长度字段解码器之外,Netty 还有其他解决粘包问题的解决方案吗?如何自定义解码器?

本文已收录到我的面试小站 www.javacn.site,其中包含的内容有:Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。

与拼多多面试:Netty如何解决粘包问题?相似的内容:

拼多多面试:Netty如何解决粘包问题?

粘包和拆包问题也叫做粘包和半包问题,它是指在数据传输时,接收方未能正常读取到一条完整数据的情况(只读取了部分数据,或多读取到了另一条数据的情况)就叫做粘包或拆包问题。 从严格意义上来说,粘包问题和拆包问题属于两个不同的问题,接下来我们分别来看。 1.粘包问题 粘包问题是指在网络通信中,发送方连续发送

贴纸拼词问题

贴纸拼词问题 作者:Grey 原文地址: 博客园:贴纸拼词问题 CSDN:贴纸拼词问题 题目描述 有 n 种不同的贴纸。每个贴纸上都有一个小写的英文单词。 要拼写出给定的字符串 target ,方法是从收集的贴纸中切割单个字母并重新排列它们。以多次使用每个贴纸,每个贴纸的数量是无限的。 返回你需要拼

博客园商业之路:全园求偶遇,懂园子懂商业的创业合伙人

各方面的因素将园子的商业化强推到一个关口,2024年7月-9月是决定园子命运的一个季度,我们将拼尽所有力气找各种可能的突破口,不会有任何保留。 这个关口是最后关头,也是三年多来最好的时间窗口,天时地利最需要人和,找到对的人,最有可能在这个时间窗口,一将解园子二十年的商业化之愁。 园中(指博客园团队)

还在拼冗长的WhereIf吗?100行代码解放这个操作

通常我们在做一些数据过滤的操作的时候,经常需要做一些判断再进行是否要对其进行条件过滤。 普通做法 最原始的做法我们是先通过If()判断是否需要进行数据过滤,然后再对数据源使用Where来过滤数据。 示例如下: if(!string.IsNullOrWhiteSpace(str)) { query =

从一个双非本学渣到自学前端上岸,我都做了些什么

这个世界上其实大部分人还没有到那种需要拼天赋的程度,大家都是普通人,只要你想,别人能做的你也能做。这是我一直相信的。

支持JDK19虚拟线程的web框架,之五(终篇):兴风作浪的ThreadLocal

ThreadLocal,这个多线程场景中重要的特性,在虚拟线程领域兴风作浪,为了应付它,quarkus也是够拼,今天咱们就来聊聊这个话题,在轻松的气氛中结束《支持JDK19虚拟线程的web框架》系列

支持JDK19虚拟线程的web框架,之五(终篇):兴风作浪的ThreadLocal

ThreadLocal,这个多线程场景中重要的特性,在虚拟线程领域兴风作浪,为了应付它,quarkus也是够拼,今天咱们就来聊聊这个话题,在轻松的气氛中结束《支持JDK19虚拟线程的web框架》系列

开源!开源一个flutter实现的古诗拼图游戏

去年(2023年)年底我初学flutter,看了一些文档和教程,想找个东西*练练手。 小时候看过一个关于历史名人儿时事迹的短片,有一集是讲*总理的,有一个细节我记得很清楚:幼年***经常要做一个游戏--有一堆纸片,每片纸上一个字,他要一个一个字拼起*拼成一首诗。 很多年前我就想,或许可以把这个游戏做

LeetCode 双周赛 102,模拟 / BFS / Dijkstra / Floyd

本文已收录到 AndroidFamily,技术和职场问题,请关注公众号 [彭旭锐] 提问。 大家好,欢迎来到小彭的 LeetCode 周赛解题报告。 昨晚是 LeetCode 双周赛第 102 场,你参加了吗?这场比赛比较简单,拼的是板子手速,继上周掉大分后算是回了一口血 😁。 2618. 查询网

[转帖]nginx 反向代理 URL替换方案

nginx 提供反向代理服务,日常开发过程中有时候我们需要使用nginx 作为代理服务根据url的不同去访问不同的服务器或者不同端口,如下提供两种方案。 1.直接替换location 匹配部分 1.proxy_pass的目标地址,默认不带/,表示只代理域名,url和参数部分不会变(把请求的path拼