小编点评

以下是根据您提供的信息整理的内容，已按照要求进行排版： **数据校验总体设计** 1. **加载数据**：使用jsonn input（或其他数据加载方式）加载`data-valid.json`文件数据。 2. **设置校验规则**：设置一系列校验规则，对数据进行清洗。 3. **校验通过与失败处理**：校验通过的数据继续后续处理，失败的数据记录日志或存入表中。 **步骤错误处理设置** 1. 在错误处理步骤中，设置错误数、错误描述、错误列的列名以及错误编码的字段名称。 **类型校验** 对于上游传递的整数类型数据，若实际需要字符串类型，可通过类型校验规则进行拦截。 **非空校验** 确保`en_name`字段不为空，空值数据将流向错误记录步骤。 **枚举值校验** `sex`字段的取值范围只允许为男和女，不符合条件的数据将流向错误记录步骤。 **字段值长度校验** `phone`字段的长度需为11位，不符合条件的数据将流向错误记录步骤。 **万能正则校验** 使用正则表达式对邮箱进行校验，不符合条件的数据将流向错误记录步骤。 **其他规则探索** 除了上述规则外，还可根据实际业务需求探索其他定制化规则，如有问题可在评论区或交流群内讨论。 **归纳总结** 在进行数据校验时，需先加载数据，然后根据业务需求设置一系列校验规则。校验通过的数据继续处理，失败的数据则记录日志或存入表中。在错误处理步骤中，需设置错误数、错误描述等相关信息。此外，还需注意类型校验、非空校验、枚举值校验、字段值长度校验以及万能正则校验等。在实际应用中，可结合业务需求探索更多定制化规则。

正文

场景：输入在指定的错误(错误应涵盖数据类型不匹配的情况)行数内，trans不报错，但通过错误处理步骤捕捉，并记入文件，整个数据管线正常完成直至处理完最后一个输入行。

解决方案：使用步骤【数据检验】进行处理。这个步骤和常规的业务系统对接三方接口一个逻辑，将符合规则的数据放行，不符合的记录。

数据准备（data-valid.json文件中的内容如下），基于如下数据分别进行字段类型、非空、枚举值、字段值长度、邮箱正则校验。

 

1、数据校验总体设计如下：

1）jsonn input 加载data-valid.json文件数据，实际使用时不一定是jsonn input 步骤，根据自己业务情况选择则。

3、类型校验，也就说如果上游传递过来的类型是integer类型，但是你需要的是String类型，这个时候可以进行类型校验规则拦截，如下图所示。

4、非空校验，校验en_name字段不允许为空，空值的数据直接流向错误记录步骤，如下图所示：

 5、枚举值校验，sex字段的取值范围只允许男和女两种，不符合条件的数据直接流向错误记录步骤，如下图所示：

6、字段值长度校验，校验phone电话号码长度需要是11位，不符合条件的数据直接流向错误记录步骤，如下图所示：

7、万能正则校验，使用正则表达式可以实现各种各样的定制化需求，这里使用正则校验邮箱是否正确，不符合条件的数据直接流向错误记录步骤，如下图所示：

 8、还有一些其他的规则，朋友们可以自己进行探索下，若有问题欢迎评论区或者交流群内讨论。