ETL服务器连接GaussDB(DWS)集群客户端配置

etl,gaussdb,dws · 浏览次数 : 4

小编点评

以下是给ETL的服务器上安装gsql工具,用来连接GaussDB(DWS)集群,做数据抽取的步骤总结: 1. 在FusionInsight Manager系统中,选择需要操作的集群名称,点击“更多 > 下载客户端 > 下载集群客户端”。 2. 如果选择保存路径,将获取的软件包下载到服务器中;如果选择不保存路径,软件包将默认下载到浏览器中。 3. 使用WinSCP工具,将获取的软件包上传到将要安装客户端的服务器文件目录,例如:/opt/client。 4. 创建用户以及解压目录: ``` sudo useradd user_client sudo mkdir -p /opt/client sudo mkdir -p /opt/mppdbclient sudo mv /tmp/FusionInsight_Cluster_3_Services_Client.tar /opt/client sudo chmod -R 755 /opt/client sudo chown -R user_client:user_client /opt/mppdbclient ``` 5. 解压软件包: ``` tar -xvf FusionInsight_Cluster_3_Services_Client.tar ``` 6. 校验软件包: ``` sha256sum -c FusionInsight_Cluster_3_Services_ClientConfig.tar.sha256 ``` 7. 解压获取的安装文件: ``` tar -xvf FusionInsight_Cluster_3_Services_ClientConfig.tar ``` 8. 配置客户端网络连接: ``` sudo nano /opt/client/FusionInsight_Cluster_3_Services_ClientConfig/hosts/etc/hosts ``` 9. 安装客户端: ``` cd /opt/client/FusionInsight_Cluster_3_Services_ClientConfig sudo ./install.sh /opt/mppdbclient ``` 10. 检查客户端是否安装成功: ``` cd /opt/mppdbclientsource bigdata_envkinit admin klist ``` 如果权限内容查询成功,表示客户端已成功安装。 11. 测试实际连接: ``` gsql -U 26000 -p -d postgres -h U omm ``` 按照以上步骤,可以在ETL的服务器上成功安装gsql工具,并连接GaussDB(DWS)集群进行数据抽取。

正文

问题描述:给ETL的服务器上安装gsql的工具,用来连接GaussDB(DWS)集群,做数据抽取用

DWS:GaussDB(DWS) 8.2.1-ESL

1.获取软件包

登录FusionInsight Manager系统,在“集群”下拉列表中单击需要操作的集群名称。选择“更多 >->下载客户端->下载集群客户端,不选择保存路径,默认可以下载到浏览器中,如果选择保存路径,可以下载到服务器中

 2.上传软件包

使用WinSCP工具,以准备安装客户端的用户(如“user_client”),将获取的软件包“FusionInsight_Cluster_3_Services_Client.tar”上传到将要安装客户端的服务器文件目录,例如“/opt/client”。

 

3.创建用户以及解压目录

useradd user_client
mkdir -p /opt/client
mkdir -p /opt/mppdbclient
mv /tmp/FusionInsight_Cluster_3_Services_Client.tar /opt/client
chmod -R 755 /opt/client
chown -R user_client:user_client /opt/mppdbclient

 

4.解压软件包

tar -xvf FusionInsight_Cluster_3_Services_Client.tar

 

5.校验软件包

sha256sum -c FusionInsight_Cluster_3_Services_ClientConfig.tar.sha256

 

6.解压获取的安装文件

tar -xvf FusionInsight_Cluster_3_Services_ClientConfig.tar

 

7.配置客户端网络连接

/opt/client/FusionInsight_Cluster_3_Services_ClientConfig/hosts
/etc/hosts

 

8.安装进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到/opt/mppdbclient目录

cd /opt/client/FusionInsight_Cluster_3_Services_ClientConfig
执行./install.sh /opt/mppdbclient

 

9.检查客户端是否安装成功,请登录客户端

cd /opt/mppdbclient
source bigdata_env
kinit admin   集群为安全模式时,执行以下命令,设置kinit认证,输入客户端用户登录密码 与登录FusionInsight Manager页面的密码一致
klist 查询并确认权限内容
gsql -U 26000 -p -d postgres -h U omm 测试实际连接是否成功

 

与ETL服务器连接GaussDB(DWS)集群客户端配置相似的内容:

ETL服务器连接GaussDB(DWS)集群客户端配置

问题描述:给ETL的服务器上安装gsql的工具,用来连接GaussDB(DWS)集群,做数据抽取用 DWS:GaussDB(DWS) 8.2.1-ESL 1.获取软件包 登录FusionInsight Manager系统,在“集群”下拉列表中单击需要操作的集群名称。选择“更多 >->下载客户端->下

kettle从入门到精通 第七十一课 ETL之kettle 再谈http post,轻松掌握body中传递json参数

场景: kettle中http post步骤如何发送http请求且传递body参数? 解决方案: http post步骤中直接设置Request entity field字段即可。 1、手边没有现成的post接口,索性用python搭建一个简单的接口,关键代码如下(安装python环境略): fro

kettle从入门到精通 第七十课 ETL之kettle kettle数据校验,脏数据清洗轻松拿捏

场景:输入在指定的错误(错误应涵盖数据类型不匹配的情况)行数内,trans不报错,但通过错误处理步骤捕捉,并记入文件,整个数据管线正常完成直至处理完最后一个输入行。 解决方案:使用步骤【数据检验】进行处理。这个步骤和常规的业务系统对接三方接口一个逻辑,将符合规则的数据放行,不符合的记录。 数据准备(

kettle从入门到精通 第六十九课 ETL之kettle kettle cdc mysql,轻松实现实时增量同步

1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle,今天我们一起学习下使用kettle的插件Debezium直接cdc mysql。 注:CDC (Change Data Capture) 是一种技术,用于捕获和同步数据库中的更改。 1)Debezium步

kettle从入门到精通 第六十七课 ETL之kettle 再谈kettle阻塞,阻塞多个分支的多个步骤

场景:ETL沟通交流群内有小伙伴反馈,如何多个分支处理完毕之后记录下同步结果呢?或者是调用后续步骤、存储过程、三方接口等。 解决:使用步骤Blocking step进行阻塞处理即可。 1、 如下流程图中利用Blocking step步骤同时阻塞【模拟表输出1】和【模拟表输出2】两个步骤,只有当两个步

kettle从入门到精通 第六十六课 ETL之kettle kettle阻塞教程,轻松获取最后一行数据,so easy

场景:ETL沟通交流群内有小伙伴反馈,如何在同步一批数据完成之后记录下同步结果呢?或者是调用后续步骤、存储过程、三方接口等。 解决:使用步骤Blocking step进行阻塞处理即可。 1、下面的demo演示从表t1同步数据至表t2(t1表中有三条数据,t2为空表,两个表表结构相同),然后数据同步完

[转帖][大数据]ETL之增量数据抽取(CDC)

https://www.cnblogs.com/johnnyzen/p/12781942.html 目录 1 CDC 概念 1.1 定义 1.2 需求背景 1.3 考察指标 2 CDC 常见解决方案 2.1 基于时间戳的CDC 【侵入式CDC + 异步CDC】 2.2 基于触发器的CDC 【侵入式C