摘要:GaussDB已经全面支撑起MetaERP,在包括库存服务在内的9大核心模块中稳定运行,端到端业务效率得到10倍提升。
本文分享自华为云社区《跑得更快!华为云GaussDB以出色的性能守护“ERP的心脏”》,作者:GaussDB 数据库。
ERP作为华为企业经营最核心的系统,伴随着华为20多年的快速发展,支撑每年数千亿产值的业务和全球170多个国家业务的高效经营。其中的库存服务作为交易数据的第一站汇集地,可以说是ERP系统中最核心的应用之一。
库存服务不仅要与交易控制层的采购、订单、任务令、成本、核算、计划等模块交互,也和各种各样的作业层系统有着很深的联系,被比作“ERP的心脏”再合适不过。库存服务对齐经营实体的资产库存管理,提供六大核心库存服务,支撑计划、订单、采购、制造等业务秒级自循环,同时作为库存明细账(量/价/余额)的可信数据源,支撑集团财务核算,账实一致、账账一致。可以说库存服务的性能很大程度上决定着ERP系统的整体性能。
作为“心脏”,库存服务的血液流量与流速有多大?仅中国区,库存服务的年处理交易需求就超过10亿行,日处理交易峰值达到500w行以上,高峰时期数十个系统同时发起库存交易,从接收交易需求到交易核算完成要经历8个环节、200多个校验的处理。
如何做到交易校验无误、现有量扣减准确、预留同步释放、提交计价有序,同时实现毫秒级响应?交易数据库在性能上遇到了极高的挑战。
想拿下以性能为首要目标的库存服务,必然需要一款同样以性能称王的数据库做底层支撑。华为云GaussDB数据库以“高性能”的优势,成为库存服务改造的趁手利器。GaussDB充分融合了华为多年来软硬全栈协同的优势,在硬件领域,结合了鲲鹏处理器的多线程、原子指令、智能网卡的计算下推、RDMA的短时延高带宽、SCM的字节寻址持久化能力等,在软件技术领域,通过动态编译、向量化引擎等能力,实现了极致的数据处理能力。
然而,上线过程中挑战仍然存在。GaussDB团队积极攻坚,细切目标,逐个攻破上线过程中遇到的难题。
首先,是如何提高执行计划的准确性。库存服务有近10万条SQL,并且存在复杂的多表关联,所以,如何保证交易数据库执行计划的准确性成为TOP挑战。对此,攻关团队围绕压测过程中识别的索引漂移等核心痛点场景,突破了智能基数估计、自适应计划选择技术,从而优化了数据库执行计划的精准性,进一步保障了库存服务每一条SQL的执行性能。
其次,是如何解决高频交易的性能问题。库存服务中有近2.7TB的数据集中在5张高频交易表里,单表数据量超过了10亿行。为了保障高频交易时性能稳定不下降,攻关团队通过组合分区和大并发线程池等技术,在打散数据访问热点的基础上,优化了线程调度机制,一方面提高了系统的响应速度,另一方面也提升了硬件的资源利用率。最终的全链路压测结果显示,切换GaussDB后,库存服务总体交易性能显著提升,达到老ERP交易峰值的3倍。
最后,是如何将攻坚历程形成可借鉴的成功经验。对此,团队在合作攻关的同时,系统性地总结了基于GaussDB数据库的开发和调优的最佳实践经验,并汇总成完整的《GaussDB开发设计及编程规范》,为后续GaussDB在其他应用的上线提供了宝贵的借鉴经验和技术规范指导。
如今,GaussDB已经全面支撑起MetaERP,在包括库存服务在内的9大核心模块中稳定运行,端到端业务效率得到10倍提升。再造后的库存服务显示出强大的实力,在年结期间,库存服务每天处理库存作业峰值指令接近510万笔,GaussDB事务处理峰值达1.1万TPS,就ERP系统的业务逻辑复杂度而言,GaussDB具备优异的峰值处理能力。在如此高频的交易场景下,系统仍保证事务响应时间在20毫秒以内,主备同步延迟始终保持在毫秒级,CPU利用率平稳保持在60%以下,整个年结期间没有发生可用性与数据一致性事故,交易数据一致性达到99.9999%的金融级水平。
从业务层面看,MetaERP已经覆盖华为公司100%的业务场景和80%的业务量,一笔库存交易从产生到财务核算的时间从以前的70分钟减少到13秒,一笔库存余额与货龄的计算从以前的60分钟减少到16分钟,交易性能得到大幅度提升。
GaussDB出色的性能表现,使MetaERP系统中交易量和数据量最大的库存服务运行得更快。华为云GaussDB在这场攻坚中展示出卓越的高性能实力,并完成自我迭代,将不断朝着更高的性能目标迈进。
在面对大模型AI火热的当下,咱们从程序员三大件“计算、存储、网络”出发,一起看看这种跑大模型AI的K8s与普通的K8s有什么区别?有哪些底层就可以构筑AI竞争的地方。