Serverless: AI everywhere的下一块拼图

serverless,ai,everywhere,一块,拼图 · 浏览次数 : 30

小编点评

**华为云函数工作流简介** 华为云 FunctionGraph 是一个基于事件驱动的函数托管计算服务,可以帮助开发人员提升工程效率,缩短 TTM 等指标。 **关键优势:** - 更低的学习成本和工程效率 - 丰富的函数开发生态 - 更低的资源成本 - 超低冷启动时间 - 多维度结合的大文件加载加速能力 **功能:** - 支持 GPU/NPU 能力 - 支持容器镜像 - 支持多线程、多实例执行 - 支持事件驱动 - 支持模型加载加速 ** benefits:** - 降低开发成本 - 快速迭代 - 提高生产力

正文

摘要:本文介绍华为云函数工作流(FunctionGraph)的灵活、速度,如何让开发人员提升工程效率,缩短TTM等

本文分享自华为云社区《华为云FunctionGraph函数工作流—— Serverless“遇见”AI,释放AI生产力》,作者: 华为云PaaS服务小智 。

华为云Serverless研发工程师朱安东在2023年A2M峰会上带来了主题为“Serverless“遇见”AI,释放AI生产力”的分享,重点介绍了业界领先的基于函数计算的Serverless AI 推理解决方案,并展示了华为云函数工作流(FunctionGraph)的灵活、速度,如何让开发人员提升工程效率,缩短TTM等。

华为云 serverless研发工程师 朱安东

朱安东表示:“AIGC正逐渐在千行百业生根发芽,并且快速成为了行业中重要的生产力工具。伴随着AIGC大模型以及领域专家类型的中小模型的快速演进,引发了海量AI推理、大模型托管以及底层强大算力的诉求。 然而,要想实现AI扎根千行百业、实现“AI everywhere”的最终目标,我们仍然有很长的路要走。”

Serverless—— AI everywhere的下一块拼图

从业内工程师的角度来看,AI应用迭代发展的核心痛点主要包含2个方面:

  1. 算法工程师作为AI应用的核心开发者通常只会和模型、数据以及代码打交道,主要工作围绕数据清洗、数据工程、特征工程还有模型设计、开发、训练等,偏研究和理论方向。但是一旦涉及到算法模型和AI应用的最终落地,推广给大量用户使用就会涉及到模型发布、上线等动作,为了完成这些流程,开发者通常需要去花时间和经历学习托管类知识,尤其是云原生时代下的docker 还有k8s等;
  2. 对于参数量很大的模型上线后很难找到足量、优质的算力资源快速获得推理结果,推理性能差。从基础架构工程师的视角来看,GPU硬件设备成本高,研究阶段的需求量尚且能够满足,但是上线后面对海量用户和请求的资源量过于庞大,需要大量的投入;

另外,业务通常都是有浮动趋势的,就像旅游业的淡季和旺季,为了满足业务峰值准备的资源在业务量低的时候资源利用率也随之降低,资源严重浪费。

综上,AI应用如果想深入到人们的生活仍有很多问题需要克服。那么如何加速AI应用快速落地、敏捷迭代呢?Serverless是以应用为中心的新型云原生计算形态,这是业界的共识。而“用户无感、按需使用、以应用为中心,无需关注基础设施”这几个特性正好可以解决AI应用的几个痛点问题:

  1. 以应用为中心:AI工程师可以专注业务逻辑和模型performance,节约下大量的时间和精力。
  2. 无需关注基础设施:企业和架构工程师无需提前准备海量计算资源、自建机房,只需按需使用,按量计费。

华为云FunctionGraph解决AI用户上云4大问题

华为云FunctionGraph函数工作流是一项基于事件驱动的函数托管计算服务,通过函数工作流,只需编写业务函数代码并设置运行的条件,无需配置和管理服务器等基础设施,函数便可以弹性、免运维、高可靠的方式运行。对于现阶段人们对业务、弹性以及降本增效等诉求提升,华为云FunctionGraph无疑是AI推理Serverless化的优质选项。

在Serverless的开发模式下,开发人员和交付流程实际上是有明显界限的。开发人员只需要上传代码包或者一个镜像文件即可让整个业务跑起来,不需要面对繁琐的交付流程。

为了让用户能够在Serverless平台上更加丝滑、流畅的开发和运行AI,华为云FunctionGraph推出了针对AI场景的解决方案,主要解决AI用户上云的四大问题:

①工程效率

  • 模型开发、编排:专注业务代码,NoOps,低码编排
  • 支持代码包,容器镜像

②性能、弹性:

  • 长时负载,支持异步函数调用,最长函数执行时间72小时
  • 冷启动问题:池化预热、弹性调度

③运行时、异构计算:

  • 支持GPU/NPU,加速推理性能
  • 支持GPU共享,提升资源利用率

④模型加载加速:

  • 大文件加载:OBS+SFS结合,解决ML模型库&模型自身大文件加载问题;
  • 链路加速:高性能解压缩转换,降网络开销、CPU解压耗时;共享内存加速技术,降解压IO开销;依赖包预加载,降低公共依赖的下载、解压耗时

同时华为云FunctionGraph基于函数计算的 Serverless AI 推理解决方案具有5大优势:

1.更低的学习成本,更卓越的工程效率,更短的TTM

华为云FunctionGraph可以极大提升开发效率。精通Python的算法科学家无需学习如何安装、配置和操作复杂的计算和数据存储基础设施, 通过可视化拖拽式函 数流便能编排复杂业务场景。此外,函数还支持容器镜像,简化了AI推理Serverless化。

2.丰富的函数开发生态。

华为云FunctionGraph支持GPU/NPU能力,具备GPU虚拟化技术,从而提高GPU硬件资源的利用率并降低使用成本。

3.更低的资源成本,按需付费,提供工作负载感知智能推荐能力。

函数计算以1ms粒度按量计费,函数编排基于节点执行次数计费

4.极致的冷启动、弹性及更智能的调度能力。

资源池化预热、分层预加载与弹性水位控制:通过单实例多并发、分层预热提升性能、降低成本。函数实例百毫秒冷启动时延,毫秒级弹性。

5.多维度结合的大文件加载加速能力。

高性能解压缩转换,降网络开销、CPU解压耗时。

共享内存加速技术,降解压IO开销。

依赖包预加载,降低公共依赖的下载、解压耗时

Serverless代表现代化架构的演进方向,与微服务将长期并存,在5-10年内将成为云的首要交付模式。根据IDC今天发布的《全球半年度公有云服务跟踪报告》显示,2020年全球云计算市场同比增长24.1%,收入总额达3120亿美元。同时Serverless对客户端还具有成本优化、效率提升的商业价值。面对Serverless的发展大势,华为云将打造全栈全场景的Serverless能力,并在音视频、数据处理、物联网、端测应用等场景优先推广落地,围绕这些场景进行打穿,推动相关高阶服务进行Serverless化改造。今年,华为云在能力打造上将优先推出函数计算2.0、Serverless应用托管 CAE、事件网格服务EventGrid、ADM等;同时,也将在Serverless开发工具及可观测性上构建端到端的能力,并重点在前端Trigger、后端BaaS上进行丰富,全面打造Serverless应用生态。华为云FunctionGraph期待与更多的开发者见面。

华为云持续将最先进的技术提供给全球的客户、伙伴和开发者,助力千行百业的客户商业成功。

产品官网链接:https://www.huaweicloud.com/product/functiongraph.html?utm_source=&utm_medium=&utm_campaign=roma&utm_content=developer-iot

 

点击关注,第一时间了解华为云新鲜技术~

与Serverless: AI everywhere的下一块拼图相似的内容:

Serverless: AI everywhere的下一块拼图

摘要:本文介绍华为云函数工作流(FunctionGraph)的灵活、速度,如何让开发人员提升工程效率,缩短TTM等 本文分享自华为云社区《华为云FunctionGraph函数工作流—— Serverless“遇见”AI,释放AI生产力》,作者: 华为云PaaS服务小智 。 华为云Serverless

全域Serverless+AI,华为云加速大模型应用开发

华为云FunctionGraph技术极大的优化了AI应用的开发过程,让AI团队可以更关注业务实现,而无需关注底层技术细节。

Serverless无服务应用架构纵横谈2:边缘计算激战正酣

Serverless无服务应用架构纵横谈2 前言 6年前,我写了一篇《Serverless无服务应用架构纵横谈》。 文中说到无论是公有云FaaS还是私有云FaaS,都不是云计算的未来。 因为无论是Kubernetes还是PHP、Python、Node这些传统技术栈都太重了。 那么,6年来,Serve

[转帖]serverless 平台 knative 简介

https://cizixs.com/2018/08/25/knative-serverless-platform/ 什么是 Knative? knative 是谷歌开源的 serverless 架构方案,旨在提供一套简单易用的 serverless 方案,把 serverless 标准化。目前参与

[转帖]Serverless 的前世今生

https://my.oschina.net/u/4611872/blog/5598427 从云计算到 Serverless 架构 大家好,我是阿里云 Serverless 产品经理刘宇,很高兴可以和大家一起探索 Serverless 架构的前世今生。 从云计算到云原生再到 Serverless 架

Serverless时代的微服务开发指南:华为云提出七大实践新标准

摘要:本文结合华为云在Serverless Microservice方面的实践,总结提炼出七大Serverless Microservice开发 “实践标准”,为加速全域Serverless产业升级、推动企业应用开发框架从微服务向Serverless演进提供一些思考。 作者信息—— 历川:华为云 S

Serverless Streaming:毫秒级流式大文件处理探秘

摘要:本文将以图片处理的场景作为例子详细描述当前的问题以及华为云FunctionGraph函数工作流在面对该问题时采取的一系列实践。 文章作者|旧浪:华为云Serverless研发专家、平山:华为云中间件Serverless负责人 一、背景 企业应用从微服务架构向 Serverless(无服务器)架

Serverless冷启动:如何让函数计算更快更强?

摘要:借助Serverless计算,开发者仅需上传业务代码并进行简单的资源配置便可实现服务的快速构建部署,云服务商则按照函数服务调用量和实际资源使用收费,从而帮助用户实现业务的快速交付和低成本运行。 本文分享自华为云社区《Serverless冷启动:如何让函数计算更快更强?》,作者:DevAI 。

当Serverless遇到Regionless:现状与挑战

摘要:本文尝试基于分析现有的学术文章,剖析Serverless与Regionless并存时,在性能提升和成本控制两个方向的现状与挑战 本文分享自华为云社区《当Serverless遇到Regionless:现状与挑战》,作者:云容器大未来。 近年来,Serverless服务崛起的趋势是有目共睹的:从B

Serverless冷扩机器在压测中被击穿问题

有次全链路压测中,有位同事负责的服务做Serverless扩容(负载达到50%之后自动扩容并上线接入流量)中,发现新扩容的机器被击穿,理论分析之后我们重新进行现象回放,模拟问题重现