全域Serverless+AI,华为云加速大模型应用开发

全域,serverless,ai,华为,加速,模型,应用,开发 · 浏览次数 : 26

小编点评

**华为云全域Serverless技术:加速AI应用创新** 华为云在上海举办的全域Serverless + AI 加速应用创新大会上发布了基于Serverless技术的FunctionGraph 3.0,助力企业轻松商用AI应用。 **FunctionGraph 3.0:面向AI领域全新升级** FunctionGraph 3.0是一种面向AI领域的全新架构,它提供以下关键能力: * Serverless 应用中心 * 独创 Snapshot 冷启动加速 * 预留实例智能推荐 **全域Serverless能力:助力5倍速开发AI应用** 华为云提供全域Serverless能力,让开发者5倍速开发AI应用,无需关注底层技术细节。 **元戎内核:异构函数极速冷启动** 元戎内核是一种专有的异构函数架构,它可根据用户需求动态分配CPU和XPU资源,极大地降低冷启动时间。 **AI赋能建筑行业数字化** 广联达科技,作为数字建筑平台服务商,提出“数字建筑”理念,帮助建筑产业转型升级。 **华为云功能图技术:打造AI极低成本和极致性能** 华为云FunctionGraph技术优化了AI应用开发过程,让AI团队可以更关注业务实现,而无需关注底层技术细节。

正文

日前,华为全联接大会2023在上海召开。华为云CTO张宇昕在大会上发布了基于Serverless技术的大模型应用开发框架,框架以面向AI领域全新升级的FunctionGraph 3.0为核心,将BaaS for AI 后端和开放平台快速无缝集成,助力企业轻松商用AI应用。

在“全域Serverless + AI 加速应用创新”专题演讲上,华为云首席产品官方国伟、华为2012实验室中软分布式与并行软件实验室主任谭焜,分享了Serverless和AI如何结合的前沿理念和实践,深度解析华为云在Serverless领域核心产品及基于元戎架构构建的分布式内核能力,为开发者打造Serverless AI极优体验,帮助企业加速应用创新;广联达科技股份有限公司首席业务专家/副总裁祁长福分享了在建筑行业,华为云Serverless产品如何基于FunctionGraph优化AI应用开发,提升开发团队工作效率。

全域Serverless 为千行万业深度用云带来新体验

方国伟介绍,在AI时代背景下,软件开发的方式由以代码为中心,走向以模型为中心,如何将AI大模型能力充分利用起来,是当下云厂商积极探索的事情。

华为云首席产品官方国伟

企业研发人员在构建AIGC应用时更多关注开发部署门槛能否降低,更快的完成企业需求。运维人员要确保系统能够稳定运行,在业务量高峰时刻做到快速弹性,业务量小时节约成本,企业既能实现业务目标,又能保证系统可靠性高、成本较低。

为了更好的支撑AIGC应用,华为云提供了全域Serverless能力,推出了CCE Autopilot、FunctionGraph、CAE等Serverless产品,将一系列的AI原生技术构筑成后端服务,形成BaaS for AI能力,调用即可得。结合完善的工具链,帮忙企业快速构建应用。

Serverless 容器CCE Autopilot、CCI让用户无需关注底层资源,自动运维,帮助用户降低运维成本。

在Cloud Bursting场景,去哪儿网基于CCI打造了灵活上云新体验,完成业务0改造,实现4000实例/30s的极致弹性。

FunctionGraph 3.0八大关键能力,助力AIGC应用创新

全新升级的FunctionGraph 3.0,新增Serverless应用中心、独创Snapshot冷启动加速、预留实例智能推荐特性,配合异构资源虚拟化技术,实现AIGC应用低成本、低延迟,加上端到端的全链路压测和全栈可观测能力,助力AIGC应用快速开发,天级上线。

杭州曼孚科技有限公司是行业领先的AI基础架构与数据智能平台服务商,基于FunctionGraph构建自动化AI训练平台,更细粒度的GPU算力供给加上按需全自动资源弹性,实现成本降低40%。

华为云Serverless事件总线服务事件网格EventGrid能够支持统一事件中心、事件驱动引擎、开放与集成、降低开发成本四大典型场景,为企业提供中心化的事件集成、治理和驱动能力。

在车联网场景,某Top车企使用EventGrid构建Serverless化的事件驱动架构的同时,实现上下游异步解耦,便于扩展和避免单点故障;作为无码化对接的事件中心,避免云服务间点对点对接,减少50%开发工作量以及数据高可靠0丢失和数据规则调整0变更。降低成本。

Serverless应用托管CAE产品升级:支持应用0代码修改平迁上云,用户无需修改业务代码;支持Web/微服务应用Serverless化,帮助企业降本增效,提升业务稳定性。

香港新世界旗下广州新合创科技有限公司,使用CAE全托管模式提升50%效率;后续还会根据商场人流峰值设定定时伸缩,节省资源以降低成本。

BaaS for AI:华为云BaaS服务DWS 3.0 提供Pay By Resource弹性模式和Pay By Query弹性模式,帮助企业实现后端服务Serverless化。

“华为云提供全域Serverless能力,让开发者5倍速开发行业大模型,支撑千行万业的AI应用开发。面向AI领域全新升级的FunctionGraph 3.0,真正实现大模型应用即开即关、即时响应,无限扩展。”

Serverless 挺进 AI,强强联合加速AI应用创新

华为2012实验室中软分布式与并行软件实验室主任谭焜

基于自主创新元戎内核构建的FunctionGraph 3.0如何保障AI应用开发部署低成本和响应低时延,谭焜做了深入的技术分享:

模型开发部署依赖昂贵的异构资源。传统的异构函数,CPU和XPU资源绑定分配,单一推理函数包含CPU和XPU操作,操作CPU时XPU空闲,操作XPU时CPU空闲,资源利用率低。元戎独创的纯XPU异构函数,CPU和XPU资源绑定解耦,用户可把不同类型资源的操作写成不同的函数,执行时分解到不同算力处理器上,无闲置资源。

FunctionGraph打造Serverless AI最佳平台

在大模型推理场景,包括全量推理和增量推理两个阶段。全量推理阶段算力需求远高于增量推理阶段,增量推理阶段,耗时可能远长于全量推理阶段。针对这类场景,元戎可以做到全量推理和增量推理解耦,各自按需弹性扩缩,精确算力供给,真正按使用量计费,降低用户成本。

更快的应用响应速度意味着更好的用户体验。元戎自主创新的FoldFormer AI模型可在线持续预测用户业务负载,提前进行实例预热,达到85%~95%准确率,大大降低了冷启动概率。无法被准确预测的流量,通过一系列优化措施加速冷启动。在用户模型下载阶段,基于内置的内存数据系统和SSD构建的分级高速缓存,实现系统内缓存模型文件,大幅缩短下载时间。计算时,模型按Layer分批加载,并根据用户SLA和模型推理时延历史数据构建最优pipeline, 降低参数加载和模型推理总时延,冷启动优化到秒级。

谭焜最后总结道:“基于元戎内核,FunctionGraph 3.0提供异构函数极速冷启动,细粒度异构资源管理和按需弹性扩缩,打造Serverless AI极低成本和极致性能;依托华为云丰富的BaaS服务和全托管的开发环境,打造Serverless AI极优体验。”

AI赋能建筑行业数字化

广联达科技股份有限公司首席业务专家/副总裁祁长福发表AI赋能建筑行业数字化主题演讲。“广联达作为数字建筑平台服务商,立足建筑产业,围绕工程项目的全生命周期,为客户提供数字化解决方案,公司提出“数字建筑”理念,希望通过“数字建筑”系统、全面、深度地助力建筑产业转型升级。”

广联达科技股份有限公司首席业务专家/副总裁祁长福

祁长福介绍,在技术方面,广联达通过大力研发BIM 和云计算、大数据、物联网、移动互联网、人工智能等信息技术引领产业转型升级。

在AI领域,广联达围绕行业难点,围绕设计、成本、施工等重点领域,打造核心AI应用。应用设计采用Serverless理念,依托华为云Serverless服务构建解决方案,将AI模型以镜像方式部署在FunctionGraph,对外提供通用API,无需管理运维异构资源(GPU等),模型实例随业务量全自动扩缩容,无请求时实例缩容到0,低成本高可用运行。上层应用采用FaaS+ BaaS的Serverless应用架构,集成模型推理接口,只需专注于业务逻辑代码,可函数级粒度并行开发,快速迭代应用。

华为云FunctionGraph技术极大的优化了AI应用的开发过程,让AI团队可以更关注业务实现,而无需关注底层技术细节。

“广联达以推动建筑行业数字化为己任,着力打造‘数字+连接+算法’的系统性数字化。围绕行业痛点,我们以智能化技术为基础,依托华为云FunctionGraph Severless架构,打造建筑从业人员的CoPilot,帮助行业人员提升作业效率,提高管理水平和决策质量。”

未来,华为云将持续落地全域Serverless产品,与华为2012实验室深度合作,以FunctionGraph3.0为核心,打造Serverless AI极低成本和极致性能,充分满足大模型应用的敏捷要求,助力千行万业深度用云。

点击关注,第一时间了解华为云新鲜技术~

与全域Serverless+AI,华为云加速大模型应用开发相似的内容:

全域Serverless+AI,华为云加速大模型应用开发

华为云FunctionGraph技术极大的优化了AI应用的开发过程,让AI团队可以更关注业务实现,而无需关注底层技术细节。

全域Serverless化,华为云引领下一代云计算新范式

近日,华为开发者大会2023(Cloud)在东莞成功举办,期间“全域Serverless化,引领下一代云计算新范式”专题论坛人气满满。华为云首席产品官方国伟携手业界专家、客户、伙伴,面向广大开发者,分享了在Serverless领域的前沿思考和实践。

华为云新一代iPaaS全域融合集成平台全新升级

摘要:基于华为十多年的数字化转型实践,华为云通过组装式交付、数智驱动、DevOps、服务化架构、安全可信、韧性6大关键技术助力客户实现应用现代化和高质量增长,华为云新一代iPaaS全域融合集成平台ROMA Connect也应运而生。 本文分享自华为云社区《华为云新一代iPaaS全域融合集成平台全新升

开放同飞,华为云发布盘古大模型全域协同生态

近日,主题为“开放同飞,共赢行业AI新时代”的华为云盘古大模型主题论坛在北京召开。

妙用OSGraph:发掘GitHub知识图谱上的开源故事

OSGraph (Open Source Graph) 是一个开源图谱关系洞察工具,基于GitHub开源数据全域图谱,实现开发者行为、项目社区生态的分析洞察。可以为开发者、项目Owner、开源布道师、社区运营等提供简洁直观的开源数据视图,帮助你和你的项目制作专属的开源名片、寻求契合的开发伙伴、挖掘深...

Serverless时代的微服务开发指南:华为云提出七大实践新标准

摘要:本文结合华为云在Serverless Microservice方面的实践,总结提炼出七大Serverless Microservice开发 “实践标准”,为加速全域Serverless产业升级、推动企业应用开发框架从微服务向Serverless演进提供一些思考。 作者信息—— 历川:华为云 S

构建数字工厂丨数据分析与图表视图模型的配置用法

摘要:本期结合示例,详细介绍华为云数字工厂平台的数据分析模型和数据图表视图模型的配置用法。 本文分享自华为云社区《数字工厂深入浅出系列(六):数据分析与图表视图模型的配置用法》,作者:云起MAE 。 华为云数字工厂平台基于“数据与业务一体化”理念,提供统一的制造全域数据平台底座,内置轻量级制造数据分

全新 UI 震撼来袭!ng-matero v18 正式发布!

前言 断断续续折腾了近两周,ng-matero v18 终于发布了。其中最大的亮点是启用 Material 3 主题以及全新的 UI 设计。特别说明,这是 ng-matero 发布五年以来首次 UI 大改版!本文重点聊一下 Material 3 的使用方式以及 v18 的几个小变化。 仓库:http

10分钟掌握Python缓存

全文速览 python的不同缓存组件的使用场景和使用样例 cachetools的使用 项目背景 代码检查项目,需要存储每一步检查的中间结果,最终把结果汇总并写入文件中 在中间结果的存储中 可以使用context进行上下文的传递,但是整体对代码改动比较大,违背了开闭原则 也可以利用缓存存储,处理完成之

全球厂商之最,华为17篇论文入选国际数据库顶会ICDE

本文分享自华为云社区《全球厂商之最,华为GaussDB&GeminiDB,17篇论文入选国际数据库顶会ICDE》 ,作者:GaussDB 数据库。 5月13-17日,国际数据库顶级学术会议 ICDE 2024 于荷兰乌得勒支举行。华为GaussDB 和GeminiDB 17篇论文入选,成为全球论文入