带你认识数仓的监控系统TopSQL
认识,监控,系统,topsql
·
浏览次数 : 27
小编点评
**华为GaussDB(DWS)TopSQL总结**
**TopSQL简介**
TopSQL是华为GaussDB(DWS)监控系统实时表和历史表，提供系统当前和历史作业执行数据的监控和分析。
**实时表**
实时表主要展示系统当前的负载情况，包括作业执行数量、资源使用情况、耗时信息等。
**历史表**
历史表用于存储作业执行的历史情况，用于历史问题的分析回溯和问题定位。
**功能介绍**
* **enable_resource_track：**控制是否记录作业资源使用数据。
* **enable_track_record_sql：**控制是否记录存储过程、匿名块内部的语句。
* **enable_track_record_subsql：**控制是否记录存储过、匿名块内部语句的执行信息。
* **enable_track_record_sql：**控制是否记录作业落盘到历史表。
**重点功能作用**
* **type：**类型介绍，例如值异常分析。
* **value：**异常分析时的值。
**性能优化**
* 使用无锁队列存储结果以减少阻塞。
* 定期清理和创建历史表的分区。
正文
本文分享自华为云社区《GaussDB(DWS)TopSQL总结》，作者：nullptr_ 。
TopSQL 背景
TopSQL为DWS的监控系统，记录DWS中各个作业、算子级别的资源使用数据、耗时数据，包括下盘信息、内存、网络、耗时、警告、基础信息等作业执行的数据。
TopSQL 简介
TopSQL分为实时表和历史表，实时表主要展示系统当前的负载情况，历史表主要用于存储作业执行的历史情况。历史表主要用于历史问题的分析回溯和问题定位、实时表主要用来展示当前系统中作业执行情况，让系统现场更加直观，为运维工作带来了极大的方便。
TopSQL 功能介绍
主要视图
前提条件（参数介绍）
- enable_resource_track topsql开关，是否开始topsql功能
- resource_track_level 设置监控级别，query：类似于sql的explain输出信息，perf：类似于explain analyze输出信息，operator_reltime: 统计实时算子信息，operator：详细记录到每个算子的执行信息，并且层级为向下兼容 query->perf->operator_reltime->operator
- resource_track_cost topsql追踪执行时间大于等于resource_track_cost 的作业
- enable_track_record_sql 控制是否记录存储过程、匿名块内部的语句
- enable_track_record_subsql 控制是否记录存储过、匿名块内部语句
- resource_track_subsql_duration 过滤执行时间小于resource_track_subsql_duration的语句
字段含义介绍（重点功能作用）
类型介绍
值异常分析
当作业因为异常例如某DN挂了，作业会重新开始，topsql会记录两条记录
TopSQL 重点逻辑梳理剖析
在DN通过打桩定期记录作业的实时信息,并将记录定期发送至CN，并将信息定期存储至实时表中pgxc_wlm_session_statistics中，并定时将实时表中的作业落盘到历史表中pgxc_wlm_session_info中，此过程为了减少阻塞将记录放到无锁队列中，无锁队列提供了记录的CAS原子操作，然后定期读取无锁队列中的内容进行转储，pgxc_wlm_session_info通过start_time进行分区，每天一个分区，通过参数topsql_retention_time配置默认保留30个分区即30天的记录，定期对pgxc_wlm_session_info的分区进行清理、创建。此过程在dws中有单独的线程运行，对系统的影响较小。无锁队列大小是有上限的，如果转储处理的速度赶不上生成的速度那么作业也会被丢弃。
历史
与带你认识数仓的监控系统TopSQL相似的内容：
