摘要：华为云容器SRE在海量集群和容器运维实践中，从智能运维能力、确定性场景恢复等多方面总结出一套确定性运维实践，以应对云原生业务快速增长。
本文分享自华为云社区《云原生容器高可用运维能力应用》，作者：陈勇/刘志超/袁文峰。
云原生场景下，对架构高可用、应用高可用、基础云平台高可用提出了更高的要求，企业以及云平台都在不断致力于稳定性建设。但面对海量复杂的客户业务场景，业务会不可避免的遇到非预期的故障，比如配置异常、应用过载、底层网络异常、硬件故障等，当这些确定性故障场景出现时，如何做到快速诊断和快速恢复，如何在故障发生前提前识别风险、消除隐患，如何在故障发生时监控准确发现定界，一直是云计算厂商面临的困难问题之一。
1、华为云云原生容器年复合增长快，需要维护的站点和k8s集群多，复杂的海量客户应用场景给运维工作带来巨大挑战。
2、云原生便捷的快速部署能力、可伸缩性使得用户业务容器、集群结构等无时无刻不在变化之中，单局点节点变化非常快。
3、云原生社区丰富的应用实践以及容器开放的部署方式，用户易出现配置类错误，导致故障发生。
4、面对客户不同的业务场景、集群类型，当前社区在监控准确率、故障快速定位恢复等通用运维能力尚无有效的解决方案。
1、现网客户请求事件同比增长，单纯依赖人力的运维已无法支撑业务的快速增长，以软件工程的手段解决现网运维中的实际困难，构建贴合业务特征的自动化运维平台。
2、将业务形态与业界开源方案相结合，构建可靠、可信的租户监控能力
3、打通运维能力产品化落地路径，将实践可靠的运维能力固化到产品中，提升产品易用性以及客户自运维能力。
>> 故障预防
“故障预防"在确定性运维中是很重要的一环，可以有效避免客户业务发生故障。风险识别在故障预防中极为有效的一种手段，客户业务的高可用部署、容器的资源配置合理性、依赖各服务的使用配额、集群和节点分配和使用率等，均会导致业务存在潜在风险，完备、及时的有效风险识别可消除客户业务隐患，防止应用故障。
a. 结合历史现网故障以及容器业务架构，梳理关键风险场景和有效监控指标。
b. 基于专家经验、历史故障场景、结合租户历史行为，构建风险指标判断识别系统，自动检测租户容器场景集群风险项，为集群构建集群画像，识别集群风险。
c. 风险识别能力实现原子化对接TSC平台，赋能客户经理。
d. 风险识别联动周边，推动产品设计改进、引导租户提前消除、支撑SRE风险收编以及故障快速恢复。
周级别自动识别全网集群风险、分钟级单集群深度自动巡检，数据入湖并被TSC订阅消费。
监控发现”旨在先于客户发现，在底层ECS故障、网络故障发生时，及时发现故障，及时自愈或通知到客户，尽最大可能短时间止损，减少客户的损失。另一方面，在真正客户业务受损时，监控要做到快速判断故障影响面，做到应用链路透视监控，可以辅助快速定位至故障点。
容器现网warroom提前发现率显著提高。
>> 快速定位恢复
“快速定位恢复”从定位和止损两方面出发，目标是降低故障发生后的MTTR，减少客户业务损失。通过历史海量用户故障输入，明确故障确定性场景，针对这些确定性故障场景，建设自动诊断能力和一键恢复预案能力。
a. 基于CMC/AOM/Promtheus/CLS/datahub等构建容器场景全指标监控接入.
b. 结合容器场景业务生命周期以及现网故障，构建容器域故障推导模型。
c. 结合监控数据，业务性，CLS日志等构建故障推导原子能力。
d. 基于CAR打造故障定位编排引擎。
e. 结合故障模式以及应急预案，降故障恢复动作平台化。
未来华为云云原生容器体量会更快速的增长，k8s社区新特性也在快速迭代，跨云跨地域业务部署是大趋势，如何在云原生时代为客户业务提供稳定的运维保障能力，如何在不断指数式增长的容器规模下，构建统一确定性运维能力是我们的方向。
华为云通过海量复杂云原生客户业务场景，从风险预防、数据面监控、故障自动诊断、确定性场景预案恢复等方面，识别云原生客户云上确定性业务使用和故障场景，持续构建智能运维能力和确定性场景恢复能力，保障客户云上业务稳定，以应对云原生业务快速增长。
本文会详细介绍vivo在容器集群高可用建设中的具体实践，包括在容器集群高可用建设、容器集群自动化运维、容器平台架构升级、容器平台能力增强、容器生态打通等层面的打磨和建设。