带你认识数仓的监控系统TopSQL

认识,监控,系统,topsql · 浏览次数 : 27

小编点评

**华为GaussDB(DWS)TopSQL总结** **TopSQL简介** TopSQL是华为GaussDB(DWS)监控系统实时表和历史表,提供系统当前和历史作业执行数据的监控和分析。 **实时表** 实时表主要展示系统当前的负载情况,包括作业执行数量、资源使用情况、耗时信息等。 **历史表** 历史表用于存储作业执行的历史情况,用于历史问题的分析回溯和问题定位。 **功能介绍** * **enable_resource_track:**控制是否记录作业资源使用数据。 * **enable_track_record_sql:**控制是否记录存储过程、匿名块内部的语句。 * **enable_track_record_subsql:**控制是否记录存储过、匿名块内部语句的执行信息。 * **enable_track_record_sql:**控制是否记录作业落盘到历史表。 **重点功能作用** * **type:**类型介绍,例如值异常分析。 * **value:**异常分析时的值。 **性能优化** * 使用无锁队列存储结果以减少阻塞。 * 定期清理和创建历史表的分区。

正文

本文分享自华为云社区《GaussDB(DWS)TopSQL总结》,作者:nullptr_ 。

TopSQL 背景

TopSQL为DWS的监控系统,记录DWS中各个作业、算子级别的资源使用数据、耗时数据,包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。

TopSQL 简介

TopSQL分为实时表和历史表,实时表主要展示系统当前的负载情况,历史表主要用于存储作业执行的历史情况。历史表主要用于历史问题的分析回溯和问题定位、实时表主要用来展示当前系统中作业执行情况,让系统现场更加直观,为运维工作带来了极大的方便。

TopSQL 功能介绍

主要视图

前提条件(参数介绍)

  • enable_resource_track topsql开关,是否开始topsql功能
  • resource_track_level 设置监控级别,query:类似于sql的explain输出信息,perf:类似于explain analyze输出信息,operator_reltime: 统计实时算子信息,operator:详细记录到每个算子的执行信息,并且层级为向下兼容 query->perf->operator_reltime->operator
  • resource_track_cost topsql追踪执行时间大于等于resource_track_cost 的作业
  • enable_track_record_sql 控制是否记录存储过程、匿名块内部的语句
  • enable_track_record_subsql 控制是否记录存储过、匿名块内部语句
  • resource_track_subsql_duration 过滤执行时间小于resource_track_subsql_duration的语句

字段含义介绍(重点功能作用)


类型介绍

 

值异常分析

当作业因为异常例如某DN挂了,作业会重新开始,topsql会记录两条记录

TopSQL 重点逻辑梳理剖析

在DN通过打桩定期记录作业的实时信息,并将记录定期发送至CN,并将信息定期存储至实时表中pgxc_wlm_session_statistics中,并定时将实时表中的作业落盘到历史表中pgxc_wlm_session_info中,此过程为了减少阻塞将记录放到无锁队列中,无锁队列提供了记录的CAS原子操作,然后定期读取无锁队列中的内容进行转储,pgxc_wlm_session_info通过start_time进行分区,每天一个分区,通过参数topsql_retention_time配置默认保留30个分区即30天的记录,定期对pgxc_wlm_session_info的分区进行清理、创建。此过程在dws中有单独的线程运行,对系统的影响较小。无锁队列大小是有上限的,如果转储处理的速度赶不上生成的速度那么作业也会被丢弃。

历史

当前pgxc_wlm_session_history只包含最近3分钟的数据且数据来源实际是pgxc_wlm_session_info。

点击关注,第一时间了解华为云新鲜技术~

 

 

与带你认识数仓的监控系统TopSQL相似的内容:

带你认识数仓的监控系统TopSQL

TopSQL为DWS的监控系统,记录DWS中各个作业、算子级别的资源使用数据、耗时数据,包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。

带你认识数仓的增量备份核心设计

摘要:增量备份是重要的常规备份策略,正确快速识别增量变化文件的相关信息对增量备份至关重要。 本文分享自华为云社区《其疾如风,GaussDB(DWS)增量备份核心设计》,作者: 我的橘子呢 。 1、认识增量备份 GaussDB(DWS)数仓的备份恢复工具Roach支持集群级增量备份。全量备份会将源数据

带你认识JDK8中超nice的Native Memory Tracking

摘要:从 OpenJDK8 起有了一个很 nice 的虚拟机内部功能: Native Memory Tracking (NMT)。 本文分享自华为云社区《Native Memory Tracking 详解(1):基础介绍》,作者:毕昇小助手。 0.引言 我们经常会好奇,我启动了一个 JVM,他到底会

带你认识3个J.U.C组件扩展

摘要:本文主要为大家讲解3种J.U.C组件扩展。 本文分享自华为云社区《【高并发】J.U.C组件扩展》,作者: 冰 河。 1.FutureTask FutureTask是J.U.C(java.util.concurrent)下的,但不是AQS(AbstractQueuedSynchronizer)的

[转帖]JVM参数:带你认识-X和-XX参数

https://www.cnblogs.com/huaweiyun/p/17095557.html 摘要:JVM参数分为三类:标准参数、非标准参数(-X参数)和高级选项(-XX参数)。本文主要为大家讲解-X参数和-XX参数。 本文分享自华为云社区《JVM运行参数之-X和-XX参数》,作者:共饮一杯无

JVM参数:带你认识-X和-XX参数

摘要:JVM参数分为三类:标准参数、非标准参数(-X参数)和高级选项(-XX参数)。本文主要为大家讲解-X参数和-XX参数。 本文分享自华为云社区《JVM运行参数之-X和-XX参数》,作者:共饮一杯无 。 JVM参数分为三类:标准参数、非标准参数(-X参数)和高级选项(-XX参数)。本文主要为大家讲

3层结构+7大特点,带你认识华为云IoTEdge

摘要:华为云IoTEdge三层架构联合打造的IoT边缘平台功能,持续为更多企业和开发者带来价值。 本文分享自华为云社区《【华为云IoTEdge学习笔记】华为云IoT边缘功能特点及价值》,作者:华为IoT云服务 。 IoT边缘是一组软件产品,包含云服务、边缘运行时软件、边缘模块应用,将云端能力快速拓展

5大特性,带你认识化繁为简的华为云CodeArts Deploy

摘要:2月27日,华为云发布持续部署服务CodeArts Deploy,通过模块化自由编排部署流程,实现软件的自动化部署,帮助企业软件产品的快速、高效、高质量交付。 本文分享自华为云社区《化繁为简高效部署 华为云发布部署服务CodeArts Deploy》,作者:华为云头条。 随着互联网、数字化的发

用案例带你认识决策树,解锁洞察力

决策树是一种基于树形结构的分类模型,它通过对数据属性的逐步划分,将数据集分成多个小的决策单元。

Python从0到1丨带你认识图像平滑的三种线性滤波

摘要:常用于消除噪声的图像平滑方法包括三种线性滤波(均值滤波、方框滤波、高斯滤波)和两种非线性滤波(中值滤波、双边滤波),本文将详细讲解三种线性滤波方法。 本文分享自华为云社区《[Python从零到壹] 五十五.图像增强及运算篇之图像平滑(均值滤波、方框滤波、高斯滤波)》,作者:eastmount。