[转帖]一文读懂GaussDB(openGauss) 的六大关键技术特性

一文,读懂,gaussdb,opengauss,六大,关键技术,特性 · 浏览次数 : 0

小编点评

**GaussDB(openGauss)分布式数据库关键特性解读** **1. 分布式执行框架业务应用下发SQL给Coordinator** * Coordinator 利用数据库的优化器生成执行计划。 * 每个DN根据执行计划去处理数据。 * 数据通过一致性Hash技术均匀分布在每个节点。 **2. GTM-Lite技术** * 可以保证事务全局强一致的同时,提供高性能的事务处理能力。 * 提供全局事务快照和提交号管理等技术。 **3. 基于NUMA-Aware实现高性能事务处理** * 采用NUMA-Aware架构,提升性能。 **4.集群HA,多层级冗余实现系统无单点故障** * 硬件和软件高可用,确保数据库无单点故障。 **5.跨AZ/Region容灾技术** * 提升集群内HA的可用性。 **6. Scale-out在线横向扩展** * 支持但集群最大256节点,节点扩展下能够获得卓越的性能线性比同时节点扩容能够做到完全在线。 **7. 关键技术总结** * **分布式执行框架业务应用下发SQL给Coordinator** * **GTM-Lite技术** * **基于NUMA-Aware实现高性能事务处理** * **集群HA,多层级冗余** * **跨AZ/Region容灾技术** * **Scale-out在线横向扩展**

正文

https://www.314idc.com/article/5238906720560318

 

发布日期:2022-07-29 07:43:22   浏览量 :254

GaussDB(openGauss)是深度融合华为在数据库领域多年的经验,结合企业级场景需求,推出的新一代企业级分布式数据库,支持集中式和分布式两种部署形态。

它面向金融互联网交易和政企OA/办公场景,具有安全可靠、超高性能、简单易用等优势。

华为云数据库产品部高级产品经理沈志鹏在1024程序员狂欢节的直播间,更为深入地介绍了GaussDB(openGauss)的关键特性、成功案例。

分布式or集中式,总有一个适合你

GaussDB(openGauss)定位为企业级云分布式数据库,架构上着重构筑传统数据库的企业级能力和互联网分布式数据库的高扩展和高可用能力。

对比传统形态,GaussDB(openGauss)能够获得:

高性能:支持分布式事务强一致性,同时32节点下能够达到1200万tpmC的性能实测指标;

高可用:支持同城跨AZ多活容灾,两地三中心金融级部署场景;

高拓展:当前支持最大256节点的在线扩容,同时保障客户拥有卓越的性能线性增长,打破传统DIY架构的性能天花板;

易运维:高度支持HTAP混合负载场景,极大的减少了业务改造成本,同时基于云平台获在线监控,运维,升级等便利的能力。

GaussDB(openGauss)在华为云上拥有两种部署形态:集中式和分布式,分别面向企业核心交易和未来海量事务型场景,打造差异化竞争力。

集中式部署

集中式部署又包括单机和主备两种类型。

以主备为例,支持1+2(最大保护)主备,基于数据库日志复制的热备,在单机性能可满足需求的情况下,提供高可用。

其中,1+1(最大可用)指的是,数据会同步写往备机。但如果出现网络等影响,无法完成同步操作,会转为异步。后续网络恢复,会自动追上。在数据不同步期间,切换会有数据丢失。

1+2(最大保护)则意味着数据会同步写往备机,且要求必须有一个确认,才向客户端返回。可靠性高。

集中式版本拥有开源生态,用户可以通过开源网站直接下载,作为国内唯一开源数据库,也是华为开源、开放、不LOCKIN单一厂商的最佳证明。

分布式部署:

分布式部署方面,数据按shard划分,读写负载准线性扩展,满足大规模业务量场景,支持两地三中心高可用部署。另外,分布式版本承载华为云自研分布式组件体系,是传统企业拥抱互联网,面向未来海量事务型场景挑战的有力保障。

下面是分布式架构中的一些关键角色:

分布式架构又可以分为独立部署&混合部署。

混合部署方案适合通用客户,其方案包括:1、各角色3副本,数据3副本部署;2、各角色进程合一部署,对外只体现数据库节点;

这样部署的优势是组网简洁明了,交付界面高效;起点配置要求低,适配场景比较通用;和未来的技术演进方向匹配。

另一个独立部署方案适合高端客户,它的方案包括:1、各角色3副本,数据3副本部署;2、关键角色进程分开部署,对外体现CMS、GTM、CN、DN主、DN备。

独立部署方案下,用户可以根据业务负载确定CN和DN的最佳比例,达成最高效的组网。

解读GaussDB(openGauss)分布式关键特性

关键技术一:分布式执行框架

业务应用下发SQL给Coordinator,SQL可以包含对数据的增(insert)、删(delete/drop)、改(update)、查(select)。Coordinator利用数据库的优化器生成执行计划,每个DN会按照执行计划的要求去处理数据。

因为数据是通过一致性Hash技术均匀分布在每个节点,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB 提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动。

DN将结果集返回给Coordinate进行汇总。Coordinator将汇总后的结果返回给业务应用。

关键技术二: GTM-Lite技术

GTM-Lite技术可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免了单GTM的性能瓶颈。

这里的高性能事务管理指的是无锁、多版本、高并发事务技术。

而且分布式的GTM-Lite方案提供全局事务快照和提交号管理,实现强一致性,且无中心节点性能瓶颈。

关键技术三:基于NUMA-Aware实现高性能事务处理

基于鲲鹏CPU的NUMA-Aware数据库架构,性能更强。

关键技术四:集群HA,多层级冗余实现系统无单点故障

GaussDB(openGauss)通过硬件冗余、实例冗余、数据冗余,实现整个系统无单点故障,高可用。

其中硬件高可用包括存储磁盘RAID冗余、网络双交换机冗余、多网卡冗余、主机UPS电源保护。

软件高可用则包括协调节点CN实例多活冗余、数据节点/全局事务管理/ 集群管理器实例Active-Standby冗余。

除此之外,还支持软硬件故障检测,最终进一步保障数据库的高可用。

关键技术五:跨AZ/Region容灾技术带来高可用

集群内HA,数据不丢失,业务秒级中断;同城跨AZ容灾,数据不丢失,分钟级恢复,以及两地三中心部署。

除了同城跨AZ和两地三中心,GaussDB(openGauss)还在探索异地多活,其主要特征有:

  • 支持多中心统一查询及全局一致读,整体资源利用率高;
  • 灵活的高可用方案:通过配置多副本,可以实现DC,AZ,Region级高可用容灾策略;
  • 负载分担及故障无缝切换;
  • 支持平滑在线扩容。

关键技术六:Scale-out在线横向扩展带来高扩展

GaussDB(openGauss)支持但集群最大256节点,节点扩展下能够获得卓越的性能线性比

同时节点扩容能够做到完全在线,对客户透明,节点扩容完成后DN数据自动重分布,CN自动完成负载均衡。

最后,除了带来GaussDB(openGauss)分布式关键特性解读之外,在1024程序员狂欢节期间,华为云还准备了一大波技术干货直播活动,既能学技术,还能抽盲盒、锦鲤大礼包。

10月23日当天,我们邀请了华为云云原生开源负责人、华为云DevCloud首席技术布道师等10+大咖现身,剖析云原生的行业趋势,倾授云原生实战秘籍。点击观看直播。

还有干货直通车,带你揭晓大厂最深层代码技术,点击查看各技术会场,挖掘更多干货。

与[转帖]一文读懂GaussDB(openGauss) 的六大关键技术特性相似的内容:

[转帖]一文读懂GaussDB(openGauss) 的六大关键技术特性

https://www.314idc.com/article/5238906720560318 发布日期:2022-07-29 07:43:22 浏览量 :254 GaussDB(openGauss)是深度融合华为在数据库领域多年的经验,结合企业级场景需求,推出的新一代企业级分布式数据库,支持集中式

[转帖]一文读懂Redis6的--bigkeys选项源码以及redis-bigkey-online项目介绍

https://www.jianshu.com/p/9e150d72ffc9 本文分为两个部分,第一是详细讲解Redis6的--bigkeys选项相关源码是怎样实现的,第二部分为自己对--bigkeys源码的优化项目redis-bigkey-online的介绍。redis-bigkey-online

[转帖]一文读懂keepalive的工作原理

keepalive是基于vrrp协议实现接入层高可用组件,避免系统的单点故障。 工作原理 要想理解keepalive的原理,就需要理解vrrp协议的工作原理。 概念解释: Vrrp(Virtual Router Redundancy Protocol),虚拟路由冗余协议,一种为了避免路由器单点故障的

[转帖]一文读懂Linux内核中的并发和竞争

https://zhuanlan.zhihu.com/p/561865798 内核中的并发和竞争简介 在早期的 Linux内核中,并发的来源相对较少。早期内核不支持对称多处理( symmetric multi processing,SMP),因此,导致并发执行的唯一原因是对硬件中断的服务。这种情况处

[转帖]一文读懂美国的出口管制

https://zhuanlan.zhihu.com/p/568211990 一年多前小白写过一文读懂什么是制裁?,这篇出口管制的文章其实也是酝酿了很久,终于跟小白的粉丝们见面了,喜欢请记得点赞收藏哦♥️♥️♥️。 简单来说,出口管制主要管制美国的物项,不能“落入”某些不符合美国经济外交国家安全利益

[转帖]一文读懂容器存储接口 CSI

https://zhuanlan.zhihu.com/p/470093908 作者 | 惠志来源 | 阿里巴巴云原生公众号 导读:在《一文读懂 K8s 持久化存储流程》一文我们重点介绍了 K8s 内部的存储流程,以及 PV、PVC、StorageClass、Kubelet 等之间的调用关系。接下来本

[转帖]一文读懂 K8s 持久化存储流程

https://zhuanlan.zhihu.com/p/128552232 作者 | 孙志恒(惠志) 阿里巴巴开发工程师 导读:众所周知,K8s 的持久化存储(Persistent Storage)保证了应用数据独立于应用生命周期而存在,但其内部实现却少有人提及。K8s 内部的存储流程到底是怎样的

[转帖]一张图读懂阿里云数据库架构与选型

https://www.cnblogs.com/zhoujinyi/p/16289252.html 背景 阿里云RDS已经发展超过十年,在演进的过程中,其架构和规格已经变得比较复杂,本文尝试通过一张架构图,较为完整的概况RDS所支持的主要的架构类型、规格,帮助开发者从高可用、成本、可靠性等角度选择适

[转帖]一文带你搞懂xxl-job(分布式任务调度平台)

https://zhuanlan.zhihu.com/p/625060354 前言 本篇文章主要记录项目中遇到的 xxl-job 的实战,希望能通过这篇文章告诉读者们什么是 xxl-job 以及怎么使用 xxl-job 并分享一个实战案例。 那么下面先说明什么是 xxl-job 以及为什么要使用它。

【转帖】读懂什么是RDMA

一.什么是RDMA 1.RDMA主要体现 2.如何理解RDMA和TCP技术的区别? 3.使用RDMA的好处包括: 二.什么是RoCE? 1. RDMA协议包含: Infiniband(IB) 2. 为什么RoCE是目前主流的RDMA协议? RoCEv1 RoCEv2 RoCE,无损先行 一.什么是R