小编点评

**原因分析：** 由于 JSON 中包含不可见字符，导致 SQL 解析器无法正确解析，因此 JSON 数据被截断。 **解决方案：** 1. **过滤控制字符：**使用正则表达式 `ControlCharRegex` 中的 `\p{C}` 匹配所有控制字符。然后，使用 `string.IsNullOrEmpty()` 检查匹配结果，如果匹配，就删除它。 2. **使用 Unicode 编码：**在对 JSON 字符串进行处理之前，将其转换为 Unicode 编码。这确保所有字符都处于可打印的范围，并可以正常解析。 3. **使用 C# 或 Java 的过滤器：**在 C# 或 Java 中，可以使用 `string.IsNullOrEmpty()` 或 `Unicode.IsHighSurrogate()` 等方法来检测字符串中是否包含不可打印字符。如果包含，则进行处理。 **代码示例：** ```csharp public static string RemoveControlChars(this string text) { // 使用正则表达式匹配所有控制字符 string controlChars = ControlCharRegex.Replace(text, string.Empty); // 使用 Unicode 编码 text = text.Normalize(); // 使用 C# 的IsNullOrEmpty 方法检测字符串是否为空 if (string.IsNullOrEmpty(text)) { return string.Empty; } return text; } ``` **注意：** * `string.IsNullOrEmpty()` 方法会忽略空白字符串。 * `Unicode.IsHighSurrogate()` 方法仅适用于 Unicode 编码的字符。 * 这只是一个示例代码，您可以根据您的实际需求进行修改。

正文

背景

最近发现某个数据采集的系统拿下来的数据，有些字段的JSON被莫名截断了，导致后续数据分析的时候解析JSON失败。

类似这样

{"title": "你好

或者这样，多了个双引号啥的

{"title":""你好"}

因为数据库是Oracle，起初以为是Oracle这老古董出问题了，结果一番折腾，把每条写入数据的SQL语句都拿出来，看起来里面的JSON格式都没问题。

这也太诡异了吧，看起来没毛病，但就为啥JSON被随机截断呢？

最后我试着把整段SQL放在Rider的 query console 里面执行，然后再去数据库里读取这段JSON，居然发现变成这样了：

{"title":"？你好"}

啊这，看到这个大大的问号，立刻就能知道这个“你好”里面不止是这两个字，肯定含有不可见的Unicode字符。

然后把这段JSON复制出来，用16进制模式打开，果然看到在“你好”前面有一个 \u0020 的字符…

Unicode码表

• 0000-007F：C0控制符及基本拉丁文 (C0 Control and Basic Latin)
• 0080-00FF：C1控制符及拉丁文补充-1 (C1 Control and Latin 1 Supplement)
• 0100-017F：拉丁文扩展-A (Latin Extended-A)
• 0180-024F：拉丁文扩展-B (Latin Extended-B)
• 0250-02AF：国际音标扩展 (IPA Extensions)
• 02B0-02FF：空白修饰字母 (Spacing Modifiers)
• ……

这里再附上部分 Unicode 表格

U+	0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
0000	NUL	SOH	STX	ETX	EOT	ENQ	ACK	BEL	BS	HT	LF	VT	FF	CR	SO	SI
0010	DLE	DC1	DC2	DC3	DC4	NAK	SYN	ETB	CAN	EM	SUB	ESC	FS	GS	RS	US
0020		!	"	#	$	%	&	'	(	)	*	+	,	-	.	/
0030	0	1	2	3	4	5	6	7	8	9	:	;	<	=	>	?
0040	@	A	B	C	D	E	F	G	H	I	J	K	L	M	N	O
0050	P	Q	R	S	T	U	V	W	X	Y	Z	[	\	]	^	_
0060	`	a	b	c	d	e	f	g	h	i	j	k	l	m	n	o

可以看到上面那个 \u0020 在第三行第一列，是一个不可见字符，躲在标题的前面

也就是因为这个 Unicode 字符，Oracle无法正确解析，所以导致了插入数据的时候错乱了

所以破案了，就是系统前台使用人员，在输入的时候不知道咋滴搞了个Unicode字符进去…

解决方法就是我这边采集的时候再做一次过滤…

没想到C#要搞个过滤 Unicode 还挺折腾的，资料太少…

最后还是参考了Java的资料搞的。= =...

代码

代码如下

写了个扩展方法来过滤

public static class StringExt { 
    // 控制字符
    private static readonly Regex ControlCharRegex = new Regex(@"[\p{C}]", RegexOptions.Compiled);

    /// <summary>
    /// 移除控制字符
    /// </summary>
    public static string RemoveControlChars(this string text) {
        return ControlCharRegex.Replace(text, string.Empty);
    }
}

要使用的时候就这样

var outStr = "带有Unicode的字符串".RemoveControlChars();

搞定。

参考资料

• UniCode编码表及部分不可见字符过滤方案 - https://www.cnblogs.com/fan-yuan/p/8176886.html
• https://stackoverflow.com/questions/6198986/how-can-i-replace-non-printable-unicode-characters-in-java