记一次难忘的json反序列化问题排查经历

json · 浏览次数 : 0

小编点评

前言 最近我在做知识星球中的商品秒杀系统,昨天遇到了一个诡异的 JSON 反序列化问题,感觉挺有意思的,现在拿出来跟大家一起分享一下,希望对你会有所帮助。 案发现场 我最近在做知识星球中的商品秒杀系统,写了一个 filter,获取用户请求的 header 中获取 JWT 的 token 信息。然后根据 token 信息,获取到用户信息。在转发到业务接口之前,将用户信息设置到用户上下文当中。这样接口中的业务代码,就能通过用户上下文,获取到当前登录的用户信息了。我们的 token 和用户信息,为了性能考虑都保存到了 Redis 当中。用户信息是一个 JSON 字符串。 当时在用户登录接口中,将用户实体,使用 fastjson 工具,转换成了字符串:`JSON.toJSONString(userDetails);` 保存到了 Redis 当中。然后在 filter 中,通过一定的 key,获取 Redis 中的字符串,反序列化成用户实体。使用的同样是 fastjson 工具:`JSON.parseObject(json, UserEntity.class);` 但在反序列化的过程中,filter 抛异常了: ``` com.alibaba.fastjson.JSONException: illegal identifier : \ pos 1, line 1, column 2{ \"accountNonExpired\":true, \"accountNonLocked\":true, \"authorities\": [{ \"authority\": \"admin\"}], \"credentialsNonExpired\":true, \"enabled\":true, \"id\":13, \"password\": \"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\", \"roles\": [\"admin\"], \"username\": \"admin\"} ``` 分析问题 我刚开始以为是 JSON 数据格式有问题。将 JSON 字符串复制到在线 JSON 工具:https://www.sojson.com,先去掉化之后,再格式数据,发现 JSON 格式没有问题: 然后写了一个专门的测试类,将日志中打印的 JSON 字符串复制到 JSON 变量那里,使用 JSON.parseObject 方法,将 JSON 字符串转换成 Map 对象: ```java public class Test { public static void main(String[] args) { String json = "{\"accountNonExpired\":true, \"accountNonLocked\":true, \"authorities\":[{\"authority\": \"admin\"}], \"credentialsNonExpired\":true, \"enabled\":true, \"id\":13, \"password\": \"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\", \"roles\":[\"admin\"], \"username\": \"admin\"}"; Map map = JSON.parseObject(json, Map.class); // 输出解析后的 JSON 对象 System.out.println(map); } } ``` 执行结果: ``` {password=$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe, credentialsNonExpired=true, roles=[\"admin\"], accountNonExpired=true, id=13, authorities=[{\"authority\":\"admin\"}], enabled=true, accountNonLocked=true, username=admin} ``` 竟然转换成功了。这就让我有点懵逼了。。。为什么相同的 JSON 字符串,在 Test 类中能够正常解析,而在 filter 中却不行? 当时怕搞错了,debug 了一下 filter,发现获取到的 JSON 数据,跟 Test 类中的一模一样:带着一脸的疑惑,我做了下面的测试。 莫非是反序列化工具有 bug? 3 改成 gson 工具 我尝试了一下将 JSON 的反序列化工具改成 Google 的 gson,代码如下: ```java Map map = new Gson().fromJson(userJson, Map.class); ``` 运行之后,报了一个新的异常: ``` com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $ ``` 这里提示 JSON 字符串中包含了 `$`。而 `$` 是特殊字符,password 是做了加密处理的,里面包含 `$` 和 `.`,这两种特殊字符。 为了快速解决问题,我先将这两个特殊字符替换成空字符串: ```java json = json.replace("\$", "").replace(".", ""); ``` 日志中打印出的 JSON 中的 password,已经不包含这两个特殊字符了: ``` 2a10o3XfeGr0SHStAwLuJRW6ykE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe ``` 但调整之后代码报了下面的异常: ``` com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Expected name at line 1 column 2 path $ ``` 跟刚刚有点区别,但还是有问题。 4 改成 jackson 工具 我又尝试了一下 JSON 的反序列化工具,改成 Spring 自带的 jackson 工具,代码如下: ```java ObjectMapper objectMapper = new ObjectMapper(); try { Map map = objectMapper.readValue(json, Map.class); } catch (JsonProcessingException e) { e.printStackTrace(); } ``` 调整之后,反序列化还是报错: ``` com.fasterxml.jackson.core.JsonParseException: Unexpected character ('\\' (code 92)): was expecting double-quote to start field name ``` 3 种反序列化工具都不行,说明应该不是 fastjson 的 bug 导致的当前 JSON 字符串,反序列化失败。 最近就业形式比较困难,为了感谢各位小伙伴对苏三一直以来的支持,我特地创建了一些工作内推群,看看能不能帮助到大家。你可以在群里发布招聘信息,也可以内推工作,也可以在群里投递简历找工作,也可以在群里交流面试或者工作的话题。 进群方式,添加苏三的私人微信:su_san_java,备注:博客园+所在城市,即可加入。 到底是什么问题呢? 5 转义之前的数据 我在仔细看了看。里面是对双引号,是使用了转义的,具体是这样做的: ``` \"" ``` 莫非还是这个转义的问题?其实我之前已经注意到了转义的问题,但使用 Test 类测试过,没有问题。当时的代码是这样的: ```java public class Test { public static void main(String[] args) { String json = "{\"accountNonExpired\":true, \"accountNonLocked\":true, \"authorities\":[{\"authority\": \"admin\"}], \"credentialsNonExpired\":true, \"enabled\":true, \"id\":13, \"password\": \"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\", \"roles\":[\"admin\"], \"username\": \"admin\"}"; Map map = JSON.parseObject(json, Map.class); // 输出解析后的 JSON 对象 System.out.println(map); } } ``` 但在 filter 中的程序,在读取到这个 JSON 字符串之后,发现该字符串中包含了转义字符,程序自动把它变成了 `\\`。调整一下 Test 类的 main 方法,改成三个斜杠的 JSON 字符串: ```java public static void main(String[] args) { String json = "{\"\\\\\\\"accountNonExpired\\\\\\\":true,\\\\\\\"accountNonLocked\\\\\\\":true,\\\\\\\"authorities\\\\\\\":[{\"\\\\\\\"authority\\\\\\\":\\\\\\\"admin\\\\\\\"}],\\\\\\\"credentialsNonExpired\\\\\\\":true,\\\\\\\"enabled\\\\\\\":true,\\\\\\\"id\\\\\\\":13,\\\\\\\"password\\\\\\\":\\\\\\\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\\\\\\\",\\\\\\\"roles\\\\\\\":[\\\\\\\"admin\\\\\\\"],\\\\\\\"username\\\\\\\":\\\\\\\"admin\\\\\\\"}\"; Map map = JSON.parseObject(json, Map.class); System.out.println(map); } ``` 执行结果: ``` Exception in thread \"main\" com.alibaba.fastjson.JSONException: illegal identifier : \ pos 1, line 1, column 2{ \"accountNonExpired\":true, \"accountNonLocked\":true, \"authorities\": [{ \"authority\": \"admin\"}], \"credentialsNonExpired\":true, \"enabled\":true, \"id\":13, \"password\": \"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\", \"roles\": [\"admin\"], \"username\": \"admin\"} ``` 抛出了跟文章最开始一样的异常。说明其实就是转义的问题。之前,我将项目的日志中的 JSON 字符串,复制到 idea 的 Test 的 json 变量中,当时将最外层的双引号一起复制过来了,保存的是 1 个斜杠的数据。这个操作把我误导了。而后面从在线的 JSON 工具中,把相同的 JSON 字符串,复制到 idea 的 Test 的 json 变量中,在双引号当中粘贴数据,保存的却是 3 个斜杠的数据,它会自动转义。 让我意识到了问题。 好了,下次如果遇到类似的问题,可以直接使用 org.apache.commons 包下的 StringEscapeUtils 类,先去掉转义,再反序列化,这样可以快速解决问题。此外,这次使用了 3 种不同的反序列化工具,也看到了其中的一些差异。如果你对日常工作中的一些坑,比较感兴趣,可以看看我的技术专栏《程序员最常见的100个问题》,里面有很多干货,还是非常值得一看的。 最后说一句(求关注,别白嫖我)如果这篇文章对您有所帮助,或者有所启发的话,帮忙扫描下发二维码关注一下,您的支持是我坚持写作最大的动力。求一键三连:点赞、转发、在看。 关注公众号:【苏三说技术】,在公众号中回复:面试、代码神器、开发手册、时间管理有超赞的粉丝福利,另外回复:加群,可以跟很多 BAT 大厂的前辈交流和学习。 归纳总结 以上内容,生成内容时需要带简单的排版

正文

前言

最近我在做知识星球中的商品秒杀系统,昨天遇到了一个诡异的json反序列化问题,感觉挺有意思的,现在拿出来跟大家一起分享一下,希望对你会有所帮助。

案发现场

我最近在做知识星球中的商品秒杀系统,写了一个filter,获取用户请求的header中获取JWT的token信息。

然后根据token信息,获取到用户信息。

在转发到业务接口之前,将用户信息设置到用户上下文当中。

这样接口中的业务代码,就能通过用户上下文,获取到当前登录的用户信息了。

我们的token和用户信息,为了性能考虑都保存到了Redis当中。

用户信息是一个json字符串。

当时在用户登录接口中,将用户实体,使用fastjson工具,转换成了字符串:

JSON.toJSONString(userDetails);

保存到了Redis当中。

然后在filter中,通过一定的key,获取Redis中的字符串,反序列化成用户实体。

使用的同样是fastjson工具:

JSON.parseObject(json, UserEntity.class);

但在反序列化的过程中,filter抛异常了:
com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}

2 分析问题

我刚开始以为是json数据格式有问题。

将json字符串复制到在线json工具:https://www.sojson.com,先去掉化之后,再格式数据,发现json格式没有问题:

然后写了一个专门的测试类,将日志中打印的json字符串复制到json变量那里,使用JSON.parseObject方法,将json字符串转换成Map对象:

public class Test {

    public static void main(String[] args) {
        String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
        Map map = JSON.parseObject(json, Map.class);
        // 输出解析后的 JSON 对象
        System.out.println(map);
    }
}

执行结果:

{password=$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe, credentialsNonExpired=true, roles=["admin"], accountNonExpired=true, id=13, authorities=[{"authority":"admin"}], enabled=true, accountNonLocked=true, username=admin}

竟然转换成功了。

这就让我有点懵逼了。。。

为什么相同的json字符串,在Test类中能够正常解析,而在filter当中却不行?

当时怕搞错了,debug了一下filter,发现获取到的json数据,跟Test类中的一模一样:

带着一脸的疑惑,我做了下面的测试。

莫非是反序列化工具有bug?

3 改成gson工具

我尝试了一下将json的反序列化工具改成google的gson,代码如下:

 Map map = new Gson().fromJson(userJson, Map.class);

运行之后,报了一个新的异常:
com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $

这里提示json字符串中包含了:$

$是特殊字符,password是做了加密处理的,里面包含$.,这两种特殊字符。

为了快速解决问题,我先将这两个特字符替换成空字符串:

json = json.replace("$","").replace(".","");

日志中打印出的json中的password,已经不包含这两个特殊字符了:

2a10o3XfeGr0SHStAwLuJRW6ykE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe

但调整之后代码报了下面的异常:
com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Expected name at line 1 column 2 path $.

跟刚刚有点区别,但还是有问题。

4 改成jackson工具

我又尝试了一下json的反序列化工具,改成Spring自带的的jackson工具,代码如下:

ObjectMapper objectMapper = new ObjectMapper();
try {
    Map map = objectMapper.readValue(json, Map.class);
} catch (JsonProcessingException e) {
    e.printStackTrace();
}

调整之后,反序列化还是报错:
com.fasterxml.jackson.core.JsonParseException: Unexpected character ('\' (code 92)): was expecting double-quote to start field name

3种反序列化工具都不行,说明应该不是fastjson的bug导致的当前json字符串,反序列化失败。

最近就业形式比较困难,为了感谢各位小伙伴对苏三一直以来的支持,我特地创建了一些工作内推群, 看看能不能帮助到大家。
你可以在群里发布招聘信息,也可以内推工作,也可以在群里投递简历找工作,也可以在群里交流面试或者工作的话题。

进群方式,添加苏三的私人微信:su_san_java,备注:博客园+所在城市,即可加入。

到底是什么问题呢?

5 转义

之前的数据,我在仔细看了看。

里面是对双引号,是使用了转义的,具体是这样做的:\"

莫非还是这个转义的问题?

其实我之前已经注意到了转义的问题,但使用Test类测试过,没有问题。

当时的代码是这样的:

public class Test {

    public static void main(String[] args) {
        String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
        Map map = JSON.parseObject(json, Map.class);
        // 输出解析后的 JSON 对象
        System.out.println(map);
    }
}

里面也包含了一些转义字符。

我带着试一试的心态,接下来,打算将转义字符去掉。

看看原始的json字符串,解析有没有问题。

怎么去掉转义字符呢?

手写工具类,感觉不太好,可能会写漏一些特殊字符的场景。

我想到了org.apache.commons包下的StringEscapeUtils类,它里面的unescapeJava方法,可以轻松去掉Java代码中的转义字符。

于是,我调整了一下代码:

json = StringEscapeUtils.unescapeJava(json);
JSON.parseObject(json, UserEntity.class);

这样处理之后,发现反序列化成功了。

总结

这个问题最终发现还是转义的问题。

那么,之前Test类中json字符串,也使用了转义,为什么没有问题?

当时的代码是这样的:

public class Test {

    public static void main(String[] args) {
        String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
        Map map = JSON.parseObject(json, Map.class);
        System.out.println(map);
    }
}

但在filter中的程序,在读取到这个json字符串之后,发现该字符串中包含了\转义符号,程序自动把它变成了\\\

调整一下Test类的main方法,改成三个斜杠的json字符串:

public static void main(String[] args) {
    String json = "{\\\"accountNonExpired\\\":true,\\\"accountNonLocked\\\":true,\\\"authorities\\\":[{\\\"authority\\\":\\\"admin\\\"}],\\\"credentialsNonExpired\\\":true,\\\"enabled\\\":true,\\\"id\\\":13,\\\"password\\\":\\\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\\\",\\\"roles\\\":[\\\"admin\\\"],\\\"username\\\":\\\"admin\\\"}";
    Map map = JSON.parseObject(json, Map.class);
    System.out.println(map);
}

执行结果:
Exception in thread "main" com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}
抛出了跟文章最开始一样的异常。

说明其实就是转义的问题。

之前,我将项目的日志中的json字符串,复制到idea的Test的json变量中,当时将最外层的双引号一起复制过来了,保存的是1个斜杠的数据。

这个操作把我误导了。

而后面从在线的json工具中,把相同的json字符串,复制到idea的Test的json变量中,在双引号当中粘贴数据,保存的却是3个斜杠的数据,它会自动转义。

让我意识到了问题。

好了,下次如果遇到类似的问题,可以直接使用org.apache.commons包下的StringEscapeUtils类,先去掉转义,再反序列化,这样可以快速解决问题。

此外,这次使用了3种不同的反序列化工具,也看到了其中的一些差异。

如果你对日常工作中的一些坑,比较感兴趣,可以看看我的技术专栏《程序员最常见的100个问题》,里面有很多干货,还是非常值得一看的。

最后说一句(求关注,别白嫖我)

如果这篇文章对您有所帮助,或者有所启发的话,帮忙扫描下发二维码关注一下,您的支持是我坚持写作最大的动力。

求一键三连:点赞、转发、在看。
关注公众号:【苏三说技术】,在公众号中回复:面试、代码神器、开发手册、时间管理有超赞的粉丝福利,另外回复:加群,可以跟很多BAT大厂的前辈交流和学习。

与记一次难忘的json反序列化问题排查经历相似的内容:

记一次难忘的json反序列化问题排查经历

前言 最近我在做知识星球中的商品秒杀系统,昨天遇到了一个诡异的json反序列化问题,感觉挺有意思的,现在拿出来跟大家一起分享一下,希望对你会有所帮助。 案发现场 我最近在做知识星球中的商品秒杀系统,写了一个filter,获取用户请求的header中获取JWT的token信息。 然后根据token信息

记一次 .NET某报关系统 非托管泄露分析

## 一:背景 ### 1. 讲故事 前段时间有位朋友找到我,说他的程序内存会出现暴涨,让我看下是怎么事情?而且还告诉我是在 Linux 环境下,说实话在Linux上分析.NET程序难度会很大,难度大的原因在于Linux上的各种开源工具主要是针对 C/C++, 和 .NET 一毛钱关系都没有,说到底

记一次 .NET 某工控视觉系统 卡死分析

## 一:背景 ### 1. 讲故事 前段时间有位朋友找到我,说他们的工业视觉软件僵死了,让我帮忙看下到底是什么情况,哈哈,其实卡死的问题相对好定位,无非就是看主线程栈嘛,然后就是具体问题具体分析,当然难度大小就看运气了。 前几天看一篇文章说现在的 .NET程序员 不需要学习**WinDbg** ,

记一次 CDN 流量被盗刷经历

先说损失,被刷了 70 多RMB,还好止损相对即时了,亏得不算多,PCDN 真可恶啊。 600多G流量,100多万次请求。 怎么发现的 先是看到鱼皮大佬发了一篇推文突发,众多网站流量被盗刷!我特么也中招了。 抱着看热闹的心情点开阅读了。。。心想,看看自己的中招没,结果就真中招了 。 被盗刷资源分

记一次 .NET某上位视觉程序 离奇崩溃分析

一:背景 1. 讲故事 前段时间有位朋友找到我,说他们有一个崩溃的dump让我帮忙看下怎么回事,确实有太多的人在网上找各种故障分析最后联系到了我,还好我一直都是免费分析,不收取任何费用,造福社区。 话不多说,既然有 dump 来了,那就上 windbg 说话吧。 二:WinDbg 分析 1. 为什么

记一次 .NET某酒业业务系统 崩溃分析

一:背景 1. 讲故事 前些天有位朋友找到我,说他的程序每次关闭时就会自动崩溃,一直找不到原因让我帮忙看一下怎么回事,这位朋友应该是第二次找我了,分析了下 dump 还是挺经典的,拿出来给大家分享一下吧。 二:WinDbg 分析 1. 为什么会崩溃 找崩溃原因比较简单,用 !analyze -v 命

记一次aspnetcore发布部署流程初次使用k8s

主题: aspnetcorewebapi项目,提交到gitlab,通过jenkins(gitlab的ci/cd)编译、发布、推送到k8s。 关于gitlab、jenkins、k8s安装,都是使用docker启动服务。 首先新建一个项目,为了方便浏览就把swaggerr非开发环境不展示去掉 下面就是需

记一次 .NET某网络边缘计算系统 卡死分析

一:背景 1. 讲故事 早就听说过有什么 网络边缘计算,这次还真给遇到了,有点意思,问了下 chatgpt 这是干嘛的 ? 网络边缘计算是一种计算模型,它将计算能力和数据存储位置从传统的集中式数据中心向网络边缘的用户设备、传感器和其他物联网设备移动。这种模型的目的是在接近数据生成源头的地方提供更快速

记一次RocketMQ消费非顺序消息引起的线上事故

应用场景 C端用户提交工单、工单创建完成之后、会发布一条工单创建完成的消息事件(异步消息)、MQ消费者收到消息之后、会通知各处理器处理该消息、各处理器处理完后都会发布一条将该工单写入搜索引擎的消息、最终该工单出现在搜索引擎、被工单处理人检索和处理。 事故异常体现 1、异常体现 从工单的流转记录发现、

记一次 .NET某机械臂上位系统 卡死分析

一:背景 1. 讲故事 前些天有位朋友找到我,说他们的程序会偶发性的卡死一段时间,然后又好了,让我帮忙看下怎么回事?窗体类的程序解决起来相对来说比较简单,让朋友用procdump自动抓一个卡死时的dump,拿到dump之后,上 windbg 说话。 二:WinDbg 分析 1. 主线程在做什么 要想