从“一云多芯”支持,看多元算力的全栈云方案

多芯,支持,多元,方案 · 浏览次数 : 418

小编点评

**华为云Stack如何在不同CPU架构下构建多元算力的全栈解决方案?** 华为云Stack是华为云在政企市场品牌,是政企客户智能升级的首选平台。随着政企客户数字化的不断深入,上云要求越来越多,给华为云Stack也带来了很多不一样的挑战和新问题。 **华为云Stack支持不同CPU架构的硬件差异,向上需提供服务化的算力模型封装,把算力相关的存储、网络、操作系统、监控运维等以服务化的方式提供。** 华为云Stack采用CPU架构混合部署、亲和性部署方案,来应对“一云多芯”现象。 **华为云Stack提供了全栈可控的软硬件,为政企客户提供坚实的云底座基础。** **华为云Stack支持不同CPU架构的硬件差异,通过硬件到软件的全栈可控云信创方案,为政务客户提供可信场景下,智能升级首选方案。**

正文

摘要:华为云Stack如何在不同CPU架构下,构建信创云平台多元算力的全栈解决方案?本文将为你具体阐释。

本文分享自华为云社区《从“一云多芯”支持,看多元算力的全栈云方案》,作者:徐安 华为云Stack资深架构师。

背景

华为云Stack作为华为云在政企市场的品牌,是政企客户智能升级的首选平台。随着政企客户数字化的不断深入,上云要求越来越多,给华为云Stack也带来了很多不一样的挑战和新问题。

分析来看,目前从宏观上看,中美技术对抗的大背景下,IT安全越来越引起国家重视,信创产业由此产生。通俗来讲,信创产业就是在核心芯片、基础硬件、操作系统、中间件、云等领域实现国产替代。发展预计将按照:党政等封闭市场、重点行业市场(如电信、轨交、电力等)、消费市场,三步进行。政企客户,即为目前的首要市场。

从微观上看,政企客户上云趋势是:会将协同办公OA系统、电子公文等非涉密系统部署在电子政务外网上,采用传统虚拟机、物理机部署方式,基础IaaS即可满足业务部署需求。未来,也会有大数据、数据库、容器、AI等高阶诉求,把信创云平台作为政务第二平面来构建。

因此在这个前提下,IaaS云平台向下需屏蔽不同CPU架构的硬件差异,向上需提供服务化的算力模型封装,把算力相关的存储、网络、操作系统、监控运维等以服务化的方式提供。所以IaaS云平台支持不同信创行业的CPU架构,解决“一云多芯”问题,是最基础的能力要求。

针对“一云多芯”的解决办法

一、不同CPU架构的特点分析

目前主流的新创CPU架构有以下几个:

考虑到各CPU架构的成熟度和性能,我们以鲲鹏、海光、飞腾作为华为云Stack支持信创CPU的首选。这些CPU架构又有各自的技术特点:

1、鲲鹏

CPU核心通过环形架构互联,通过扩展计算单元数量来支持众核架构,采用7nm工艺,Die内均等内存和IO访问能力。

2、海光

CPU核心通过Die之间互联架构来连接,采用12nm工艺,一个CPU有4个Die或者2个Die,一个Die固定有2个计算单元,一个计算单元内有4个海光核。

3、飞腾

Die之间通过2D Mesh方式互联,一个CPU支持8个Die,一个Die与两个或者三个Die以2D Mesh方式互联。

二、华为云Stack技术方案特点

根据上述不同CPU架构特点,华为云Stack采用:CPU架构混合部署、亲和性部署方案,来应对“一云多芯”现象;同时,华为云Stack还有全栈可控的软硬件,为政企客户提供的坚实的云底座基础。

1、不同CPU架构混合部署

面对不同CPU架构的不同特点,华为云Stack进行混合部署。可以理解为把数个杂乱无序的商品,整齐陈列到一个陈列整齐的便利店中,所有品类都能放到便利店中、同类商品统一陈列、特殊商品也有自己的位置。有算力需求时,就如同用户走入便利店,能快速、高效的找到想要的东西。

具体混合部署方式如下:

(1) 华为云Stack支持多个CPU架构在一朵云上共存。客户可以按照自己的业务诉求,管控硬件资源和业务环境,实现高效管理。

支持的CPU架构:Intel CPU服务器、海光CPU服务器、鲲鹏CPU服务器、飞腾CPU服务器在一朵云内共存,高效管理,用户按照自己的业务诉求管控硬件资源和业务环境

(2) 把相同CPU架构,放入对应的资源池中。比如把Intel CPU和海光CPU、鲲鹏CPU和飞腾CPU,分别放入x86和ARM资源池中。对于那些没有使用特殊指令的应用,可在不同厂商CPU之间流动,可高效管控资源池,提高资源池利用效率,减少资源碎片。

(3) 业务镜像仅按照操作系统区分,不区分CPU架构,如果操作系统可兼容不同的CPU架构,可在同资源池内复用。

(4) 对于有特殊指令诉求的业务负载,可通过规则中参数来指定业务放置在哪里。比如指定x86-虚拟机-规格,就会在Intel CPU服务器或者海光CPU服务器上选定一个地方放置。

2、考虑不同CPU架构之间的差异,支持亲和性部署

想象下你有几个编制不同、演奏方式不同的乐队,为了每次收到新的曲子,都能最快的编排出来,你需要提前收集这几个乐队的架构、声部、主要领队人等等,把这些信息登记在册。之后再收到新的曲子,只需查阅之前的记录,就可以实现人员的精准分工了。

亲和性部署,就是把不同的CPU架构差异,记录在数据库表中,收到新的算力需求时,实现调度匹配。

华为云Stack部署业务的步骤如下:

(1) 获取CPU topo,包括Socket、Die架构、计算单元、核心、超线程的关系。支持鲲鹏,intel,海光,飞腾CPU

(2) 获取的CPU topo在系统中保存

(3) 按照调度算法放置不同的业务负载

(4) 用户可按照CPU topo的形态呈现现有CPU架构,剩余CPU资源,已经使用的CPU资源

华为云Stack部署业务的算法基本原则是:

(1) 按照numa距离总量最小的组合,选择Die

(2) 在die内先填满一个计算单元,再填满另一个计算单元

(3) 使用局部最优悲观算法来考虑碎片问题

  • 如果要使用的资源可被一个计算单元整除,优先以计算单元为单位填满碎片,如若还有剩余,用碎片填满
  • 如果要使用的资源不可被一个计算单元整除,优先用碎片填满

3、全栈可控:覆盖芯片、服务器、存储、数据库、操作系统、云平台全栈可控

华为云Stack软硬件均自主可控,包括鲲鹏920高性能CPU、还包括昇腾310/910、AI芯片、Hi181x存储控制器芯片、Hi182x网络控制器芯片、Hi171x服务器管理芯片。也包括上面的服务器、集中式和分布式存储、交换机、路由器、防火墙等设备。华为掌握鲲鹏ARM、openEuler(开源)、openGauss(开源)等三大根技术,可为有全栈云信创诉求的政企客户提供安全可靠的云底座平台。

写在最后

随着政企客户信创产业的发展,政企客户对上云的诉求的增多,华为云Stack也面临着不同的挑战越来越多。我们华为云Stack充分考虑到客户目前拥有不同CPU架构的现实,通过分析主流CPU架构的技术特点,一方面全面支持一云多芯的设备能力;另一方面,通过硬件到软件的全栈可控云信创方案,为政务客户提供可信场景下,智能升级首选方案。为政企客户的全面云化打造了一个坚实有力的底座。

 

点击关注,第一时间了解华为云新鲜技术~

与从“一云多芯”支持,看多元算力的全栈云方案相似的内容:

从“一云多芯”支持,看多元算力的全栈云方案

摘要:华为云Stack如何在不同CPU架构下,构建信创云平台多元算力的全栈解决方案?本文将为你具体阐释。 本文分享自华为云社区《从“一云多芯”支持,看多元算力的全栈云方案》,作者:徐安 华为云Stack资深架构师。 背景 华为云Stack作为华为云在政企市场的品牌,是政企客户智能升级的首选平台。随着

[转帖]初识SkyWalking

https://zhuanlan.zhihu.com/p/361579294 一、SkyWalking 是什么? 一个开源的可观测平台,用于从服务和云原生基础设施收集,分析, 聚合及可视化数据。 SkyWalking 提供了一种简便的方式来清晰地观测分布式系统,甚至横跨多个云平台。SkyWalkin

[转帖]初识SkyWalking

https://zhuanlan.zhihu.com/p/361579294 一、SkyWalking 是什么? 一个开源的可观测平台,用于从服务和云原生基础设施收集,分析, 聚合及可视化数据。 SkyWalking 提供了一种简便的方式来清晰地观测分布式系统,甚至横跨多个云平台。SkyWalkin

服务端应用多级缓存架构方案

## 一:场景 20w的QPS的场景下,服务端架构应如何设计? ## 二:常规解决方案 可使用分布式缓存来抗,比如redis集群,6主6从,主提供读写,从作为备,不提供读写服务。1台平均抗3w并发,还可以抗住,如果QPS达到100w,通过增加redis集群中的机器数量,可以扩展缓存的容量和并发读写能

国际财务系统基于ShardingSphere的数据分片和一主多从实践

作者:京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案,在性能和可用性方面已经难于满足海量数据的场景,系统最大的瓶颈在于单个节点读写性能,许多的资源受到单机的限制,例如连接数、网络IO、磁盘IO等,从而导致它的并发能力不高,对于高并发的要求不满足。 每到月初国际财务系统压力巨

从源代码构建TensorFlow流程记录

通常情况下,直接安装构建好的.whl即可。不过,当需要一些特殊配置(或者闲来无事想体会 TensorFlow 构建过程到底有多麻烦)的时候,则需要选择从源代码构建TensorFlow。万幸文档混乱的 TensorFlow 还是好心地为我们提供了一整页的文档供参考

掌握动态规划,从“什么问题适合用”及“解题思路”入手

摘要:一般是用动态规划来解决最优问题。 本文分享自华为云社区《深入浅出动态规划算法(中)》,作者:嵌入式视觉 。 一,“一个模型三个特征”理论讲解 一个模型指的是适合用动态规划算法解决的问题的模型,这个模型也被定义为“多阶段决策最优解模型”。具体解释如下: 一般是用动态规划来解决最优问题。而解决问题

一文读懂华为云云原生产品及开源实践

摘要:本文主要从华为云原生产品及开源产品两个层面进行展开,详述华为云在云原生领域的最佳实践。 本文分享自华为云社区《【云驻共创】华为云云原生产品及开源实践》,作者:kaliarch。 一 云原生发展阶段和趋势 回首过去,云计算的快速发展,为众多行业的数字化转型提供了推力,也提升了企业数字化转型的技术

一次redis主从切换导致的数据丢失与陷入只读状态故障

## 背景 最近一组业务redis数据不断增长需要扩容内存,而扩容内存则需要重启云主机,在按计划扩容升级执行主从切换时意外发生了数据丢失与master进入只读状态的故障,这里记录分享一下。 ## 业务redis高可用架构 该组业务redis使用的是一主一从,通过sentinel集群实现故障时的自动主

实践篇(三):如何有效评审软件架构图?

设计意图的传达是架构可视化关注的重要维度,在技术方案评审过程中不可避免的会出现各种各样的架构图或设计图,这些图形化表述在设计意图传达效果层面表现不一,本文从图形化的视角为软件架构图的评审关注点提供了参考。