GaussDB(DWS)迁移：一种执行高效的TereData的marco迁移方案

gaussdb,dws,迁移,一种,执行,高效,teredata,marco,方案 · 浏览次数 : 113

小编点评

## 执行高效的TereData的marco迁移方案 **作者：譡里个檔** **摘要：** 本文分享如何执行高效的Teradata的marco迁移方案，包括： * 使用DWS的函数替换TeraData的宏 * 测试表定义 * 创建OR REPLACE函数 * 使用NOT SHIPPABLE和SECURITY INVOKER属性 **主要内容：** 1. **Teradata宏定义**： * 创建存储过程`get_emp_salary` * 定义参数`employeeno`，`out_employeeeno`，`out_netpay` * 使用`SELECT`语句获取 employeeeno 和 netpay * 定义返回值类型为SETOF record 2. **DWS迁移函数定义**： * 创建函数`public.get_emp_salary` * 定义输入参数`employeeno`，输出参数`employeeeno`和`netpay` * 使用`SELECT`语句获取 employeeeno 和 netpay * 使用`RETURN SETOF record`定义返回值类型 3. **注意事项**： * 函数属性设置：`STABLE2`，`SQL`，`NOT SHIPPABLE`，`SECURITY INVOKER` * 函数权限属性：`SECURITY INVOKER` **优点：** * 避开FuctionSCan换成层和SQL下推 * 效率更高，执行速度快 **案例：** ```sql -- 函数定义 CREATE OR REPLACE FUNCTION public.get_emp_salary(employeeno integer, OUT employeeeno integer, OUT netpay integer) RETURNS SETOF record LANGUAGE sqlNOT SHIPPABLE STABLEAS $function$ SELECT employeeno, netpay FROM test.salary WHERE employeeno = $1; -- 执行函数 SELECT * FROM get_emp_salary(1); ``` **效果：** 执行`SELECT * FROM get_emp_salary(1)`，查询结果为： ``` employeeno | netpay --- | --- 1 | 1 ```

正文

摘要：提供一种执行高效的TereData的marco迁移方案。

本文分享自华为云社区《GaussDB(DWS)迁移 - teredata兼容 -- macro兼容 # 【玩转PB级数仓GaussDB(DWS)】》，作者：譡里个檔。

Teradata的宏是一组可以接受参数的SQL语句，通过调用宏名称来执行一段SQL语句，执行上类似于DWS的存储过程。在迁移的时候也建议使用DWS的函数替换TeraData的宏。

测试表定义

CREATE SCHEMA test;
CREATE TABLE test.salary(
 employeeno integer,
 netpay integer
)
WITH (orientation=row, compression=no)
DISTRIBUTE BY ROUNDROBIN;
INSERT INTO test.salary VALUES (1, 1);

TereData宏定义

CREATE MACRO get_emp_salary(employeeno integer) AS ( 
 SELECT 
 employeeno, 
 netpay 
 FROM test.salary 
 WHERE employeeno = :employeeno; 
);

DWS迁移的函数定义

CREATE OR REPLACE FUNCTION public.get_emp_salary(
 employeeno integer,
 OUT employeeno integer,
 OUT netpay integer
)
 RETURNS SETOF record
 LANGUAGE sql
NOT SHIPPABLE STABLE
AS $function$
 SELECT 
 employeeno, 
 netpay 
 FROM test.salary 
 WHERE employeeno = $1; 
$function$;

Note：函数定义中属性要如上定义，需要明确的是

1) 必须是STABLE

2) 函数语言必须是SQL语言

3) 查询语句的返回值类型和函数的出参类型一致

4) 必须是NOT SHIPPABLE(默认就是NOT SHIPPABLE属性)

5) 不能定义为STRICT属性(默认就是非STRICT属性)

6) 不能定义配置参数(默认就是非STRICT属性)

7) 函数的权限属性为SECURITY INVOKER(默认就是SECURITY INVOKER属性)

这样定义的好处是就是当函数体中是简单的单查询语句时，函数调用可以直接优化为对函数体内的SQL语句的调用，执行上避开FuctionSCan的换成层以及SQL不下推的问题，执行上更加高效(具体见下面的case)

语句执行效果

postgres=# EXPLAIN VERBOSE SELECT * FROM get_emp_salary(1);
                                              QUERY PLAN
------------------------------------------------------------------------------------------------------
  id |                      operation                      | E-rows | E-distinct | E-width | E-costs
 ----+-----------------------------------------------------+--------+------------+---------+---------
 1 | -> Data Node Scan on salary "_REMOTE_TABLE_QUERY_" | 1 | | 8 | 0.00
 Targetlist Information (identified by plan id)
 ------------------------------------------------------------------------------------------
 1 --Data Node Scan on salary "_REMOTE_TABLE_QUERY_"
         Output: salary.employeeno, salary.netpay
         Node/s: All datanodes
         Remote query: SELECT employeeno, netpay FROM ONLY test.salary WHERE employeeno = 1
(10 rows)

点击关注，第一时间了解华为云新鲜技术~