场景： kettle中http post步骤如何发送http请求且传递body参数？ 解决方案： http post步骤中直接设置Request entity field字段即可。 1、手边没有现成的post接口，索性用python搭建一个简单的接口，关键代码如下（安装python环境略）： fro
场景：输入在指定的错误(错误应涵盖数据类型不匹配的情况)行数内，trans不报错，但通过错误处理步骤捕捉，并记入文件，整个数据管线正常完成直至处理完最后一个输入行。 解决方案：使用步骤【数据检验】进行处理。这个步骤和常规的业务系统对接三方接口一个逻辑，将符合规则的数据放行，不符合的记录。 数据准备（
1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle，今天我们一起学习下使用kettle的插件Debezium直接cdc mysql。 注：CDC (Change Data Capture) 是一种技术，用于捕获和同步数据库中的更改。 1）Debezium步
场景：ETL沟通交流群内有小伙伴反馈，如何多个分支处理完毕之后记录下同步结果呢？或者是调用后续步骤、存储过程、三方接口等。 解决：使用步骤Blocking step进行阻塞处理即可。 1、 如下流程图中利用Blocking step步骤同时阻塞【模拟表输出1】和【模拟表输出2】两个步骤，只有当两个步
场景：ETL沟通交流群内有小伙伴反馈，如何在同步一批数据完成之后记录下同步结果呢？或者是调用后续步骤、存储过程、三方接口等。 解决：使用步骤Blocking step进行阻塞处理即可。 1、下面的demo演示从表t1同步数据至表t2（t1表中有三条数据，t2为空表，两个表表结构相同），然后数据同步完
# 一、需求背景 由于项目场景原因，需要将A库(MySQL)中的表a、表b、表c中的数据``定时T+1`` ``增量``的同步到B库(MySQL)。这里说明一下，不是数据库的主从备份，就是普通的数据同步。经过技术调研，发现Kettle挺合适的，原因如下： 1. Kettle （数据抽取、清洗、转换、
记录一下工作上疑难问题解决： 一，方便的页面监控 前几天早上，负责的kettle抽取数据表的任务又报错了，早上看手机有4个未接报警电话，一看是人员表，原来昨天报表系统有个大的查询一直未查询完成，导致truncate这个人员表，无法活动meta的锁，后续执行抽取和计算的都报错。为解决以前这个很偶发的大
