springboot升级过程中踩坑定位分析记录 | 京东云技术团队

springboot,升级,过程,定位,分析,记录,京东,技术,团队 · 浏览次数 : 388

小编点评

**作者:京东零售 李文龙** **背景:** * 俗话说:为了修复一个小bug而引入了一个更大bug。 * 作者负责的系统使用的spring框架版本为5.1.5.RELEASE。 * 最近升级到版本5.2.12.RELEASE,对应的springboot版本为2.2.12.RELEASE。 **选择版本的原因:** 1. 有团队经过长时间的线上验证。 2. 修复了5.1.5.RELEASE对应的bug。 3. 分析验证定位原因,发现是某个过滤器的顺序在线上未配置。 **升级前后框架是否有大的修改?** 升级了一个小版本号,所以不好对比升级的buglist。 **添加过滤器enable配置因bug修复列表中有对应的issues。** * 为解决问题,添加了“enable”参数配置,该参数控制是否自动配置HiddenHttpMethodFilter。 **未升级spring版本时disable验证在确认未升级版本的spring支持此参数的情况下,添加了以上参数,将默认的启动修改成了禁用。** **深入源码分析:** * HiddenHttpMethodFilter过滤器有特殊操作,在处理POST请求时,读取body体中的数据后,不会解析body中的参数至parameterMap中。 * 在分析时,发现request.getParameter可能是解决问题的关键。 **大胆猜测分析后,猜到修改顺序如下:** 1. A中有调用getParameter,所以顺序调整为A->M后,相当于间接使用了HiddenHttpMethodFilter。 2. 在调用M前调用request.getParameter,可以正常为使用。 **结论:** * 升级spring版本后修复此bug可选择方案包括: * 启用HiddenHttpMethodFilter,添加对应的参数。 * 在M执行前调用request.getParameter。 * 修改过滤器M内部的逻辑。

正文

作者:京东零售 李文龙

1.背景

俗话说:为了修复一个小bug而引入了一个更大bug

因所负责的系统使用的spring框架版本5.1.5.RELEASE在线上出过一个偶发的小事故,最后定位为spring-context中的一个bug导致的。

为了修复此bug进行了spring版本的升级,最终定的版本为收银台团队使用的版本5.2.12.RELEASE,对应的springboot版本为2.2.12.RELEASE。

选择这个版本的原因是:

1.有团队经过了长时间的线上验证

2.修复了5.1.5.RELEASE对应的bug

2.升级上线

升级相关版本后在预发环境进行了验证,暂未遇到关于框架的问题。本以为安全升级完成,在上线过程中发现在APP中无法访问,此时还未挂载流量。

日志中分析是某些参数未解析到,后在nginx日志中查到相关请求,使用postman模拟请求可以正常使用

3.分析验证定位原因

1.临时修复

在代码一致的情况下,唯一的可能就只能是线上与预发配置不同,经对比分析得出是某个过滤器的顺序在线上未配置,按照预发的配置后可正常使用。我们暂且称修改的这两个过滤器为MA,

其中默认情况下执行顺序为M->A,顺序修改为A->M后正常,其两者作用大致为:

M : 通用过滤器,解析url中的参数至parameterMap中,并初始化读取了body中的inputstream进行了byte数组的缓存,用于解决重复读取流问题 A: 特定处理器,先是查询parameter中的参数,然后逻辑处理后再设置一些特殊参数。

2.为何需要改过滤器顺序

经查未升级前过滤器的顺序与升级后过滤器顺序一致,为何升级spring框架后需要修改配置。此时猜测可能是spring在升级过程中修改了一部分代码,

但未有头绪,只能先调转方向分析为什么postman和浏览器中的swagger可以正常使用

3.分析nginx日志

前端请求与postman请求的nginx日志进行了分析得出了原因,对比日志如下:

postman POST /shop/bpaas/floor?client&clientVersion&ip=111.202.149.19&gfid=getShopMainFloor&body= 前端 : POST /shop/bpaas/floor HTTP/1.0" 200 634 "-" "api" "0.94" 0.008 0.007 client&clientVersion&ip=111.202.149.17&gfid=getShopMainFloor&body=

经过以上对比发现虽然postman使用了post请求,但数据还是放置在url中,在经过系统的一个内置过滤器M时将url中的参数解析到了parameterMap中,后续过滤器可以使用

request.getParameter获取到,注意此方法是解决问题的关键,此时还未意识到。

4.升级前后框架是否有大的修改

因升级的版本是升级了一个小版本号,所以不好对比升级的buglist,只能慢慢进行分析,后在分析过滤器时发现升级spring后过滤器个数由11个减少到了10个,减少了那一个为:

org.springframework.web.filter.HiddenHttpMethodFilter

此过虑器的作用是在浏览器不支持PUT、DELETE、PATCH等method时,可以在form表单中使用隐藏的_method参数支持这几种method。好像跟参数解析没有任何关系,

继续分析升级版本中 (由2.1.3.RELEASE->2.2.12.RELEASE)是否修改了此过滤器的一些内容,后在2.2.0.M5的release notes中发现HiddenHttpMethodFilter相关的:

Disable auto-configuration of HiddenHttpMethodFilter by default github上对应的版本release notes: https://github.com/spring-projects/spring-boot/releases/tag/v2.2.0.M5

也就是说升级后HiddenHttpMethodFilter默认配置由enable修改为了disable,如果再修改回去是不是可以修复参数解析的问题呢?

5.添加过滤器enable配置

因bug修复列表中有对应的issues,所以找到了此过滤器对应的配置:

-Dspring.mvc.hiddenmethod.filter.enabled=true

添加后可以正常使用,证明是此过滤器中在某种条件下不可缺少。

6.未升级spring版本时disable验证

在确认未升级版本的spring支持此参数的情况下,添加了以上参数,将默认的启动修改成了禁用,经验证:在不代码修改的情况下,无此过滤器时参数无法解析。证明了上步的猜测。

7.深入源码分析

此时需要分析HiddenHttpMethodFilter过滤器中是否有特殊操作,源码如下:

protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain filterChain)
			throws ServletException, IOException {

		HttpServletRequest requestToUse = request;

		if ("POST".equals(request.getMethod()) && request.getAttribute(WebUtils.ERROR_EXCEPTION_ATTRIBUTE) == null) {
			String paramValue = request.getParameter(this.methodParam);
			if (StringUtils.hasLength(paramValue)) {
				String method = paramValue.toUpperCase(Locale.ENGLISH);
				if (ALLOWED_METHODS.contains(method)) {
					requestToUse = new HttpMethodRequestWrapper(request, method);
				}
			}
		}

		filterChain.doFilter(requestToUse, response);
	}

分析以上源码可以发现,有且只有一种可能,就是request.getParameter可能是解决问题的是关键。

8.大胆猜测

分析后源码猜测,第一步中的修改顺序有可能是A中有调用getParameter,所以顺序调整为A->M后,相当于间接使用了HiddenHttpMethodFilter。

9.开始验证

在不使用HiddenHttpMethodFilter的情况下,如果在过滤器原有顺序不修改的情况下,只要在M执行前调用了request.getParameter,理论上可以正常为使用。所以在debug情况下

利用工具在M过滤器调用前先行执行request.getParameter,发现的确可以正常使用。

10.分析过滤器

先前简述了M的功能,主要是包装了request,后读源码时发现,如果是post请求,读取body体中的数据后并未解析body中的参数至parameterMap中,而代码中的其它过滤器都是

通过request.getParameter获取的数据,重写后的代码:

public String getParameter(String name) {
		if ( this.parameterMap.containsKey(name) )
			return this.parameterMap.get(name);
		else {
			return super.getParameter(name);
		}
	}

在经过request包装后,先是从paremeterMap中获取数据,此时map肯定是没有数据,只能从父类获取,而父类获取时会解析parameter,解析时使用到了inputStream,但M过滤器

的在初始化时解析了输入流,此时tomcat内部使用内部的request获取stream时将获取到空数据,即无法从parameter中获取到body体中的数据。

而如果在调用M前调用了request.getParameter,tomcat内部将提前于M解析parameter,可以保证后续可获取到相关参数。

4. 修复方案

既然得出了结论,那么升级spring版本后修复此bug可选择的方案就比较多了,主要有:

  1. 启用HiddenHttpMethodFilter,添加对应的参数,保证升级前后过滤器个数与顺序一致

  2. 调整理过滤器A与M的顺序,保证M在A之前执行即可。

  3. 修改过滤器M内部的逻辑,不在初始化的时候解析body,或是在解析body后将参数重新放置到parameterMap中。

此文是笔者按照分析流程进行简单验证,分析验证过程中难免有遗漏之处,如有错误遗漏还烦请各位指出共同进步。

与springboot升级过程中踩坑定位分析记录 | 京东云技术团队相似的内容:

springboot升级过程中踩坑定位分析记录 | 京东云技术团队

因所负责的系统使用的spring框架版本5.1.5.RELEASE在线上出过一个偶发的小事故,最后定位为spring-context中的一个bug导致的。

[转帖]一次SpringBoot版本升级,引发的血案

https://z.itpub.net/article/detail/B6495288E725529E58105397659A08EB 前言 近项目组升级了SpringBoot版本,由之前的2.0.4升级到新版本2.7.5,却引出了一个大Bug。 到底是怎么回事呢? 1.案发现场 有一天,项目组的同

Dubbo3应用开发—XML形式的Dubbo应用开发和SpringBoot整合Dubbo开发

Dubbo3程序的初步开发 Dubbo3升级的核心内容 易⽤性 开箱即⽤,易⽤性⾼,如 Java 版本的⾯向接⼝代理特性能实现本地透明调⽤功能丰富,基于原⽣库或轻量扩展即可实现绝⼤多数的 微服务治理能⼒。更加完善了多语言支持(GO PYTHON RUST) 超⼤规模微服务实践 ⾼性能通信(Tripl

SpringBoot2.7升级到3.0的实践分享

背景 最近把项目中的技术框架做一次升级,最重要的就是SpringBoot从2.7.x升级到3.0.x,当然还会有一些周边的框架也会连带着升级,比如Mybatis Plus,SpringCloud等,话不多说直接看看有哪些事情要做。 具体事项 主要分两类,第一类是单纯的提升版本,主要如下: 1.jdk

Spring Boot 3.0横空出世,快来看看是不是该升级了

简介 Spring boot 3.0于2022年11月正式发布了,这次的发布对于我们普通程序员的影响有多少呢?我们是不是需要考虑立马升级到Spring Boot3.0呢? 别急,看完这篇文章再来做决定也不迟。 对JAVA17和JAVA19的支持 相信很多小伙伴到现在还是使用得是JDK8,但是JDK8

Springboot中自定义监听器

一、监听器模式图 二、监听器三要素 广播器:用来发布事件 事件:需要被传播的消息 监听器:一个对象对一个事件的发生做出反应,这个对象就是事件监听器 三、监听器的实现方式 1、实现自定义事件 自定义事件需要继承ApplicationEvent类,并添加一个构造函数,用于接收事件源对象。 该事件中添加了

网易面试:SpringBoot如何开启虚拟线程?

虚拟线程(Virtual Thread)也称协程或纤程,是一种轻量级的线程实现,与传统的线程以及操作系统级别的线程(也称为平台线程)相比,它的创建开销更小、资源利用率更高,是 Java 并发编程领域的一项重要创新。 PS:虚拟线程正式发布于 Java 长期支持版(Long Term Suort,LT

京东面试:SpringBoot同时可以处理多少请求?

Spring Boot 作为 Java 开发中必备的框架,它为开发者提供了高效且易用的开发工具,所以和它相关的面试题自然也很重要,咱们今天就来看这道经典的面试题:SpringBoot同时可以处理多少个请求 ? 准确的来说,Spring Boot 同时可以处理多少个请求,并不取决于 Spring Bo

美团二面:SpringBoot读取配置优先级顺序是什么?

理解并合理运用Spring Boot配置加载的优先级,对于保障应用的安全性、可维护性以及降低部署复杂度至关重要。特别是在大规模微服务架构中,合理的配置管理和迁移对于整体系统的稳定性有着不可忽视的作用。

【冷启动#2】实用的springboot tutorial入门demo

跟着官方文档熟悉一遍创建spring工程的步骤 https://spring.io/guides/gs/spring-boot https://juejin.cn/post/7077958723829760008 demo简介 整个demo的预期目标是: 管理一堆玩家的数据,数据库使用的是现成的我们