DTSE Tech Talk 第18期丨统计信息大揭秘,数仓SQL执行优化之密钥

dtse,tech,talk,统计,信息,揭秘,sql,执行,优化,密钥 · 浏览次数 : 96

小编点评

**华为云GaussDB(DWS)分析器专家王跃分享统计信息对查询优化的关键作用,并介绍了五种自动收集方法,帮助开发者快速上手使用统计信息的自动收集功能。** **统计信息对查询优化的重要性:** * 统计信息是基于对目标数据的采样生成的,所以准确性才是统计信息的关键。 * 统计信息自动收集功能可以提升查询性能,减少查询执行时间。 **五种自动收集方法:** * 按库收集:从数据库中读取统计信息。 * 按表收集:从每个表中读取统计信息。 * 按模式收集:从数据库中读取统计信息,并根据模式进行合并。 * 按列收集:从每个列中读取统计信息。 * 多列组合:将多个统计信息一起收集。 **统计信息自动收集的原理:** * 后端线程轮询收集与优化器同步收集两种方式。 * 统计信息自动收集功能基于对目标数据的采样,以确保准确性。 **收集统计信息的流程:** 1. 数据库执行查询。 2. 数据库返回统计信息。 3. GaussDB(DWS)接收统计信息并进行存储。 **统计信息的重要性:** * 统计信息可以影响查询表达的小估算。 * 及时收集统计信息可以提升查询性能。 **如何检测统计信息是否失效:** * 已知 SQL 执行慢。 * 批量作业执行慢。 * 通过日志查找历史未收集统计信息的表。

正文

摘要:华为云EI DTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。

在本期《统计信息大揭秘——SQL执行优化之密钥》的主题直播中,我们邀请到华为云EI DTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。

为何要重视统计信息收集?

现阶段市场上的数据库产品,基本上都是基于CBO模型的优化器,在基于CBO模型的优化器中,统计信息是生成最优执行计划的前提,会直接影响到执行计划的选择,因此统计信息的及时收集是尤为重要的。

统计信息主要包括“描述表规模的表级统计信息”和“描述列数据特征的列级统计信息”两部分内容。

王跃从统计数据在优化器中的运用这一角度,向我们展示了统计信息影响表达小估算的原理、进行等值比较、范围比较、多条件、简单JOIN代价估算的原理,进一步解释了统计信息的重要性。

如何收集统计信息

王跃先带我们简单了解了GaussDB(DWS)的部署架构,说明了分布式查询的执行流程和统计信息收集的执行流程。

基于此,GaussDB(DWS)共有五种统计信息收集的方法,分别是按库收集、按表收集、按模式收集、按列收集以及多列组合。

GaussDB(DWS)拥有强大的统计信息自动收集能力,通过后台线程轮询收集与优化器同步收集两种方式来实现。王跃建议开发者可以同步开启两种方式,以达到最优的收集功能。

此外,还强调了自动收集的阈值控制方法,同时对收集不及时,统计信息可能失效的场景,提出了一种统计信息推算的兜底策略。确保每个查询都有及时有效的统计信息可用。保证了尽可能最优的执行性能。

华为云数仓analyze能力

通过“基本功能”,“收集方式”,“准确性”,“可靠性”,“估算增强”,详细的介绍了华为云GaussDB(DWS)近年来在统计信息方面的持续耕耘和比较有亮点的特色功能。

GaussDB(DWS)在analyze的各个执行过程中都进行了精心打造。统计信息是基于对目标数据的采样生成的,所以准确性才是统计信息的关键。

  1. 样本数据能不能代表全表数据特征?
  2. 如何找到一个恰当的采样大小,让统计信息收集的又快又准?
  3. 不同存储类型的表如何自适应的选取采样模型?
  4. 内存不足时应该如何计算统计信息?

在采样大小,采样模型,计算模型等方面的深入投入,GaussDB(DWS)寻找出了这些问题的最佳答案。

最后给出了一键式统计信息自动收集的最优配置,让用户不再担心统计信息忘记收集的烦恼,帮助开发者专注于自己业务领域,减少统计信息忘收集的困扰。

统计信息常见问题

我们知道了GaussDB(DWS)的统计信息自动收集功能很强大,那我们接下来更关心的是如何检测它的使用效果,如何知道收集的进度和方式。

如何判断统计信息是否失效,给用户提供了三种简单快速识别统计信息未收集的方法:

  1. 已知SQL执行慢,看是否有未收集统计信息的表;
  2. 批量作业执行慢,哪些SQL是没收统计信息;
  3. 通过日志查找历史未收集统计信息的表。

analyze易运维,通过非常巧妙的方法,将analyze每一步的执行过程和运行模式,详细的展示到活跃会话视图和线程等待视图,王跃也在最后列举了一些使用者最常问到关于analyze的几个TOP问题。

欢迎感兴趣的开发者们收看我们的直播回放,了解更多~

 

点击关注,第一时间了解华为云新鲜技术~

与DTSE Tech Talk 第18期丨统计信息大揭秘,数仓SQL执行优化之密钥相似的内容:

DTSE Tech Talk 第18期丨统计信息大揭秘,数仓SQL执行优化之密钥

摘要:华为云EI DTSE技术布道师王跃,针对统计信息对于查询优化器的重要性,GaussDB(DWS)最新版本的analyze当前能力,与开发者和伙伴朋友们展开交流互动,帮助开发者快速上手使用统计信息的自动收集功能。 在本期《统计信息大揭秘——SQL执行优化之密钥》的主题直播中,我们邀请到华为云EI

DTSE Tech Talk 第13期:Serverless凭什么被誉为未来云计算范式?

摘要:在未来,云上交付模式会逐步从Serverful为主转向Serverless为主。 本文分享自华为云社区《DTSE Tech Talk 第13期:Serverless凭什么被誉为未来云计算范式?》,作者: 华为云社区精选。 DTSE Tech Talk(华为云开发者联盟推出的技术公开课)解读云上

从原生迈向混合,小而美团队如何搞定APP高效定制

摘要:洞悉华为云数字化差旅App的架构变迁之路,体验混合开发魅力。 ​​本文分享自华为云社区《DTSE Tech Talk 第21期丨从原生迈向混合,小而美团队如何搞定APP高效定制?》,作者:华为云社区精选 。 令开发者们心动的App端开发神器究竟长什么样?小而美的团队如何精准拿捏客户多元化定制需

DTSE Tech Talk | 第9期:EiPaaS驱动企业数字化转型

摘要: 揭秘华为企业集成新模式。 本期直播详解 组装式概念解析 EiPaaS的核心技术能力 华为实践经验分享 EiPaaS未来的技术趋势 直播讲师:华为云PaaS DTSE布道师 傅翌伟 tips:EiPaaS全称:Enterprise integration Platform as a Servi

DTSE Tech Talk | 第10期:云会议带你入门音视频世界

摘要:本期直播主题是《云会议带你入门音视频世界》,华为云媒体服务产品部资深专家金云飞,与开发者们交流华为云会议在实时音视频行业中的集成应用,帮助开发者更好的理解华为云会议及其开放能力。 本期直播主题是《云会议带你入门音视频世界》,华为云媒体服务产品部资深专家金云飞,与开发者们交流华为云会议在实时音视

DTSE Tech Talk | 第11期:深入浅出畅谈华为云低时延直播技术

摘要:详解华为云低时延直播在时延、首屏、卡顿率等体验的优化方案,及如何快速接入方法。 本文分享自华为云社区《DTSE Tech Talk | 第11期:深入浅出畅谈华为云低时延直播技术》,作者:华为云社区精选 。 本期直播主题是《深入浅出畅谈华为云低时延直播技术》,华为云媒体DTSE技术布道师杨金文

6个实例带你解读TinyVue 组件库跨框架技术

本文分享自华为云社区《6个实例带你解读TinyVue 组件库跨框架技术》,作者: 华为云社区精选。 在DTSE Tech Talk 《 手把手教你实现mini版TinyVue组件库 》的主题直播中,华为云前端开发DTSE技术布道师阿健老师给开发者们展开了组件库跨框架的讨论,同时针对TinyVue组件

DTT年度收官圆桌π,华为云8位技术专家的年末盘点

摘要:收下这份DTT年度收官圆桌π总结,在新的一年心想事成,技术上更上一层楼。 本文分享自华为云社区《DTT年度收官圆桌π,华为云8位技术专家的年末盘点》,作者:华为云社区精选 。 在2022年的年末,华为云DTSE Tech Talk迎来了年度收官圆桌π直播活动(👉 点击回看),8位DTSE技术

《华为云DTSE》期刊2023年第二季—HDC.Cloud 2023专刊

开发者是这一变革中的决定性力量,通过生成一行行代码,让一个个创想变为现实。

从数仓发展史浅析数仓未来技术趋势

摘要:华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯,针对数据仓库的起源、演进过程、未来技术发展趋势,与开发者和伙伴朋友们展开交流互动,帮助开发者快速了解数据仓库相关信息与能力。 本文分享自华为云社区《直播回顾 | 从数仓发展史浅析数仓未来技术趋势》,作者:胡辣汤。