摘要:本文介绍华为云函数工作流(FunctionGraph)的灵活、速度,如何让开发人员提升工程效率,缩短TTM等
本文分享自华为云社区《华为云FunctionGraph函数工作流—— Serverless“遇见”AI,释放AI生产力》,作者: 华为云PaaS服务小智 。
华为云Serverless研发工程师朱安东在2023年A2M峰会上带来了主题为“Serverless“遇见”AI,释放AI生产力”的分享,重点介绍了业界领先的基于函数计算的Serverless AI 推理解决方案,并展示了华为云函数工作流(FunctionGraph)的灵活、速度,如何让开发人员提升工程效率,缩短TTM等。
华为云 serverless研发工程师 朱安东
朱安东表示:“AIGC正逐渐在千行百业生根发芽,并且快速成为了行业中重要的生产力工具。伴随着AIGC大模型以及领域专家类型的中小模型的快速演进,引发了海量AI推理、大模型托管以及底层强大算力的诉求。 然而,要想实现AI扎根千行百业、实现“AI everywhere”的最终目标,我们仍然有很长的路要走。”
从业内工程师的角度来看,AI应用迭代发展的核心痛点主要包含2个方面:
另外,业务通常都是有浮动趋势的,就像旅游业的淡季和旺季,为了满足业务峰值准备的资源在业务量低的时候资源利用率也随之降低,资源严重浪费。
综上,AI应用如果想深入到人们的生活仍有很多问题需要克服。那么如何加速AI应用快速落地、敏捷迭代呢?Serverless是以应用为中心的新型云原生计算形态,这是业界的共识。而“用户无感、按需使用、以应用为中心,无需关注基础设施”这几个特性正好可以解决AI应用的几个痛点问题:
华为云FunctionGraph函数工作流是一项基于事件驱动的函数托管计算服务,通过函数工作流,只需编写业务函数代码并设置运行的条件,无需配置和管理服务器等基础设施,函数便可以弹性、免运维、高可靠的方式运行。对于现阶段人们对业务、弹性以及降本增效等诉求提升,华为云FunctionGraph无疑是AI推理Serverless化的优质选项。
在Serverless的开发模式下,开发人员和交付流程实际上是有明显界限的。开发人员只需要上传代码包或者一个镜像文件即可让整个业务跑起来,不需要面对繁琐的交付流程。
为了让用户能够在Serverless平台上更加丝滑、流畅的开发和运行AI,华为云FunctionGraph推出了针对AI场景的解决方案,主要解决AI用户上云的四大问题:
华为云FunctionGraph可以极大提升开发效率。精通Python的算法科学家无需学习如何安装、配置和操作复杂的计算和数据存储基础设施, 通过可视化拖拽式函 数流便能编排复杂业务场景。此外,函数还支持容器镜像,简化了AI推理Serverless化。
华为云FunctionGraph支持GPU/NPU能力,具备GPU虚拟化技术,从而提高GPU硬件资源的利用率并降低使用成本。
函数计算以1ms粒度按量计费,函数编排基于节点执行次数计费
资源池化预热、分层预加载与弹性水位控制:通过单实例多并发、分层预热提升性能、降低成本。函数实例百毫秒冷启动时延,毫秒级弹性。
高性能解压缩转换,降网络开销、CPU解压耗时。
共享内存加速技术,降解压IO开销。
依赖包预加载,降低公共依赖的下载、解压耗时
Serverless代表现代化架构的演进方向,与微服务将长期并存,在5-10年内将成为云的首要交付模式。根据IDC今天发布的《全球半年度公有云服务跟踪报告》显示,2020年全球云计算市场同比增长24.1%,收入总额达3120亿美元。同时Serverless对客户端还具有成本优化、效率提升的商业价值。面对Serverless的发展大势,华为云将打造全栈全场景的Serverless能力,并在音视频、数据处理、物联网、端测应用等场景优先推广落地,围绕这些场景进行打穿,推动相关高阶服务进行Serverless化改造。今年,华为云在能力打造上将优先推出函数计算2.0、Serverless应用托管 CAE、事件网格服务EventGrid、ADM等;同时,也将在Serverless开发工具及可观测性上构建端到端的能力,并重点在前端Trigger、后端BaaS上进行丰富,全面打造Serverless应用生态。华为云FunctionGraph期待与更多的开发者见面。
华为云持续将最先进的技术提供给全球的客户、伙伴和开发者,助力千行百业的客户商业成功。