数仓实践丨主动预防-DWS关键工具安装确认

实践,主动,预防,dws,关键,工具,安装,确认 · 浏览次数 : 54

小编点评

**gdb确认是否安装** 执行以下命令在任意集群节点上,以查看 `gdb` 安装状态: ``` gdb --help ``` **gstack是否安装** 运行以下命令以查看 `gstack` 安装状态: ``` gstack ``` **core是否配置** 检查 `core` 配置文件是否存在,并执行以下命令以查看其内容: ``` cat /etc/gcore/core.conf ``` **pg_xlogdump是否存在** 执行以下命令以查看 `pg_xlogdump` 安装状态: ``` pg_xlogdump --version ``` **pagehack是否存在** 运行以下命令以查看 `pagehack` 安装状态: ``` pagehack ``` **其他工具安装检查** 除了以上工具之外,还有一些其他工具的安装检查方法,您可以根据需要进行查找。 **注意** 在执行以上命令之前,请确保您已经登录到集群节点上。

正文

摘要:gdb确认是否安装,所带来的该工具用户数据库实例触发core问题后集群状态反复异常,对此问题及时分析根因并及时进行规避。

本文分享自华为云社区《主动预防-DWS关键工具安装确认》,作者:上官寒雨。

【关键工具确认】

1、gdb确认是否安装(该工具用户数据库实例触发core问题后集群状态反复异常,对此问题及时分析根因并及时进行规避)

登录任意集群节点执行以下命令(HC/HCS/HCSO环境登录沙箱外执行):

gdb --help

提示以下信息则已安装

2、gstack是否安装(与gdb关联工具,gdb安装后此工具会默认安装,作用与gdb相同)

登录任意集群节点执行以下命令(HC/HCS/HCSO环境登录沙箱外执行):

gstack

提示以下信息则已安装

gdb与gstack安装请参考以下链接:

https://bbs.huaweicloud.com/forumreview/thread-182292-1-1.html

3、core是否配置(该配置可以确保数据库实例触发core问题后能够抓取异常堆栈信息,以便使用gdb工具从所抓取信息中获取触发实例异常sql及时规避与根因定位)

集群状态为Normal时执行以下命令确认(集群normal情况下该操作不影响业务)

kill -11 备dn进程号,检查对应的数据目录下是否生成core文件,若产生core文件则已配置。

若未配置请按照以下链接进行配置:

HC/HCS/HCSO core配置:https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=181948

纯软core配置: https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=182036

4、pg_xlogdump是否存在(异常业务产生大量xlog后造成业务慢,磁盘使用率快速上涨等问题,使用此工具解析异常业务)

pg_xlogdump提示以下信息则已安装(纯软环境加载环境变量后执行,HC/HCS/HCSO登录至沙箱内执行)

5、pagehack是否存在(数据文件出现静默损坏使用该工具解析异常数据文件)

pagehack提示以下信息则已安装(纯软环境加载环境变量后执行,HC/HCS/HCSO登录至沙箱内执行)

pg_xlogdump与pagehack工具获取如下链接:

https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=142380

上传步骤如下:

步骤1:登录至第一个CN节点,使用omm(云上使用Ruby用户)将pagehack、pg_xlogdump工具上传至该节点$GAUSSHOME/bin/下

步骤2:将工具分发至其他节点

gs_ssh -c "scp $hostname:$GAUSSHOME/bin/pagehack $GAUSSHOME/bin/"

gs_ssh -c "scp $hostname:$GAUSSHOME/bin/pg_xlogdump $GAUSSHOME/bin/"

$hostname为第一个cn节点的hostname。

6、   gs_detect工具上传步骤(此工具包未运维团队开发,其中包括集群状态异常诊断工具、IO高工具、数据文件损坏扫描等工具,方便出现问题后及时定位及恢复)

步骤1:omm用户登录第一个cn节点(云上使用Ruby),在附件获取gs_detect工具并重命名为gs_detect.tar.gz上传至第一个cn节点/home/omm路径下(HC/HCS/HCSO形态放在第一个cn节点/home/Ruby路径下)

步骤2:使用以下命令解压

cd /home/omm

tar -zxvf gs_detect.tar.gz

步骤3:将gs_detect工具分发至其他节点

gs_ssh -c "scp -r hostname:/home/omm/gs_detect /home/omm"

$hostname为第一个cn节点的hostname。

  注:云上的分发命令需要在沙箱内执行

【系统加固】

1、arm加固项确认(x86机器不涉及)

https://support.huawei.com/enterprise/zh/bulletins-product/ENEWS2000007743

2、Centos7.6impi模块导致服务器反复重启,修复方案见附件 《CentOS7.6 ipmi模块补丁合入指导.docx》

 

点击关注,第一时间了解华为云新鲜技术~

与数仓实践丨主动预防-DWS关键工具安装确认相似的内容:

数仓实践丨主动预防-DWS关键工具安装确认

摘要:gdb确认是否安装,所带来的该工具用户数据库实例触发core问题后集群状态反复异常,对此问题及时分析根因并及时进行规避。 本文分享自华为云社区《主动预防-DWS关键工具安装确认》,作者:上官寒雨。 【关键工具确认】 1、gdb确认是否安装(该工具用户数据库实例触发core问题后集群状态反复异常

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

摘要:本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。 本文分享自华为云社区《GaussDB(DWS)运维 -- 单SQL磁盘空间管控》,作者: 譡里个檔。 【问题描述】 执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异),本文针对根因和场景触发场景,确定触发此类问题

云享·案例丨打造数智物流底座,华为云DTSE助力物联云仓解锁物流新“速度”

摘要:华为云凭借领先的技术和快速响应的开发者支持服务,助力物联亿达实现云上资源高可用、提升系统安全性与稳定性,为物联亿达提供了扎实的数字化基础。 本文分享自华为云社区《云享·案例丨打造数智物流底座,华为云DTSE助力物联云仓解锁物流新“速度”》,作者:华为云社区精选 。 数字化转型浪潮席卷全球,企业

实时数仓构建:Flink+OLAP查询的一些实践与思考

以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓**,其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。 很多人一提起实时数仓,就直接大谈特谈Hudi,Flink的流批一体等,但实际上,**实时数仓包括任何架构体系的构建如...

数仓资源管控理论已掌握,是时候实战了

华为云GaussDB(DWS)技术布道师吕鹏博,针对GaussDB(DWS) 资源管控的原理和系统运维实践带来了精彩分享。

用户行为分析模型实践(三)——H5通用分析模型

本文从提升用户行为分析效率角度出发,详细介绍了H5埋点方案规划,埋点数据采集流程,提供可借鉴的用户行为数据采集方案;且完整呈现了针对页面分析,留存分析的数仓模型规划方案。

大数据-数据仓库-实时数仓架构分析

![image](https://img2023.cnblogs.com/blog/80824/202211/80824-20221128173125005-1682211493.png) ![image](https://img2023.cnblogs.com/blog/80824/202211/

大数据 - DWM层 业务实现

DWM 建表,需要看 DWS 需求。 DWS 来自维度(访客、商品、地区、关键词),为了出最终的指标 ADS 需求指标 DWT 为什么实时数仓没有DWT,因为它是历史的聚集,累积结果,实时数仓中不需要 DWD 不需要加工 DWM 需要加工的数据 统计主题 需求指标【ADS】输出方式计算来源来源层级

解读数仓中的数据对象及相关关系

摘要:为实现不同的功能,GaussDB(DWS)提供了不同的数据对象类型,包括索引、行存表、列存表及其辅助表等。这些数据对象在特定的条件下实现不同的功能,为数据库的快速高效提供了保证,本文对部分数据对象进行介绍。 本文分享自华为云社区《GaussDB(DWS)之数据对象及相互关系总结》,作者:我的橘

优化数仓业务视图:过滤条件传递

摘要:在业务功能实现时,经常会用到视图简化查询SQL。但有时候会因为视图降低查询效率,本文主要分析在业务需求满足的情况下,将有效的过滤条件传递到基表,减少运算过程中数据库需要处理的数据量,提升SQL执行效率。 本文分享自华为云社区《GaussDB(DWS)业务视图优化-过滤条件传递》,作者:卫小毛