在ArchSummit全球架构师峰会2024上，华为云aPaaS平台首席架构师马会彬受邀出席，和技术爱好者分享AI原生应用引擎的架构与实践。
AI大模型与AI重塑软件的大趋势下，软件会发生哪些本质的变化？如果“所有软件都值得用AI重做一遍”，那么该如何重做？华为云aPaaS平台首席架构师马会彬从AI重塑软件的本质变化、AI原生的概念与内涵解剖，分享华为云AI原生应用引擎的架构设计和实践思考。
大模型正在推动历史性的技术革命，企业想要成为AI科技浪潮的赢家，需要回答是否要训练自己的行业大模型、如何寻找或打造自己的ChatGPT时刻、如何从既有的企业IT架构和组织能力上支撑落地这三个问题。
大模型的四大技术驱动力，使得AI重塑软件成为可见的未来
Embedding解决了文字、图片、声音、视频转化为一个可计算的token的问题，使得纯文本NLP快速演进到多模态大模型，对整个大模型和AI技术浪潮产生根本性的影响。
过去经典模型没有通用性能力，解决的都是个性化问题，Transformer架构目前被证明是最有效的大模型架构，模型参数规模、数据规模、训练计算量的规模都会显著提升大模型的智力能力，它的演进是有确定性方向的。
算力的演进，模型智力能力和模型场景泛化能力的演进，都符合摩尔定律，甚至在一定程度上，演进的速度超过了摩尔定律；就模型而言，解决的问题和适用的场景，随着时间就会自然获得，不需要在编程或者算法设计上做太多的处理。
LLM OS是以大模型为核心处理单元所构造的一种理论计算架构，业界基于此做了通用实现，证明了它有解决通用问题的能力。
大模型带来3大颠覆性技术创新，即创造能力、推理能力、自然交互能力，对整个软件行业产生重大影响，主要体现在两大维度：（1）AI赋能人，在一定程度上模拟人、超越人，比如具身智能和AI Agent分别在物理世界、数字世界辅助人、替代人；（2）AI重塑存量软件及工具，显著提升人的效率及体验。
软件架构之变：传统程序或软件1.0是构成式架构，是精心设计的、确定性的，而AI原生软件或软件2.0是以大模型为底座的生成式架构。
软件工程之变：传统程序的软件工程是以人为本的协同式开发，强调开发流程、工具、人之间的协同配合，而以大模型为底座的软件开发过程，是以数据为本的生成式开发，对协同的要求没有那么高。
软件体验之变：传统软件是通过键盘鼠标或触摸式交互，到了AI原生时代则变成了时空自然交互，不止是简单对话，AI能理解人所处的时间和空间，这是一个非常大的改变。
软件商业之变：传统上是软件即服务，是把软件功能以服务的形式去交付，现在是服务即软件，不仅提供功能，而且直接提供操作软件完成业务的“服务”。
基于这4个变化，会出现3种形态：第一种，这4个变化都采纳或遵从了的，就是新的AI原生应用（AI native）；第二种，程序或应用保持不变，但改变了软件跟用户交互的方式；第三种，程序或应用保持不变，但改变了软件开发的工程和工具体系，后两类可以认为是AI重塑的传统软件（AI enabled）。
基于这4点，AI原生应用新范式包括两层意思：第一是AI First新思想，想做以大模型为基座的软件或应用，首要是转变思维模式；第二是AI Native新实践，是架构和工程方法的问题。只有将这两者综合在一起，才能真正实现以大模型为驱动力的新应用和新软件产业的落地。
传统软件强调算法、逻辑、数据，有确定的输入和确定的输出，大量的工作需要提前设计和开发，生成式的软件架构跟之前有根本的区别。模型是单独开发的，功能或场景的开发，即提示词输入，不是在大模型开发过程中确定的，而是在任务的场景上下文里确定的。整个工作方式完全发生变化，意味着整个软件开发过程中的角色、方式发生了变化。因为开发阶段只是确定了模型或软件框架，在业务过程中有实时的软件功能或者结果的生成。
以人为本的协同开发，无论是瀑布模式还是敏捷模式，都可以归纳为是以人为本的，特别强调项目管理和软件工程，迁移到大模型驱动的以数据为本的生成式开发，产生了几个根本性的变化：
一个应用或一个软件可以分为两层，底层是记录系统，没有变化，上层是交互系统，交互方式因大模型发生很大变化，体现在三个方面：
将AI自主能力等级和AI成熟度等级作为两个象限去看，大概会经历5个阶段：应用+AI特性（初级阶段）、应用+Copilot（任务阶段）、应用+Agent（助手阶段）、Agent+应用（代理阶段，Agent为主、应用为辅）、超级智能体ASI（共生阶段，人、AI驱动的机器人、agent协同工作），目前每个阶段都有在尝试，但应用的场景和范围都还有一定的限制。
华为基于内部实践以及跟客户、生态伙伴的合作打磨了一款AI原生应用引擎产品，旨在帮助企业从应用视角选好、用好、管好大模型，赋能AI原生应用创新，主要包含Agent编排中心、知识中心、模型中心、AI可信治理和AI资产库5大模块，解决6个业务问题。
具体来说，主要有从5个方面来应对和解决：
1、企业词表：每个企业都有自己的术语表，要加载企业专业术语，让大模型准确理解，消除歧义，提升准确率。
2、领域知识库：所有大模型落地一定要外挂知识库，因为模型的训练是有周期的，但是外部的实时数据和实时的知识更新很快，所以需要让模型跟知识库结合，保证知识的动态更新，解决知识的及时性及有效性。
3、场景范式：模型是通用的，业务场景是多变的，如何用通用的架构解决个性化或多变的场景问题？为此，华为云参照人解决问题的思考方式，构建了7大Agent场景范式（会话交互、内容理解、感知接收、中枢决策、知识查询、设计生成、数据分析），从而简化Agent开发。
4、模型网关：基于大模型的应用开发一定需要模型网关，有以下方面的原因：（1）市面上的模型很多，对企业来说，包括自建的模型、外购的第三方模型，什么业务应该路由给哪一个模型，需要考虑业务路由问题。（2）各模型在提示词输入输出的格式上有一些差异，需要一个统一的接口进行切换。（3）大模型是个IT系统，也会出现故障甚至宕机，基于网关制定Failover机制，可以提升大模型的应用可用性。（4）模型生成的结果，真实效果或准确性如何，要有个控制点来建立可观测性，来持续度量推理性能、成本及跟踪反馈的问题。
除了4个功能性的需求之外，还需要从企业CIO视角去做模型治理，因为模型是一个关键的IT基础设施，如何引入、升级版本、退出，都要有管理规范和流程。
5、知识飞轮：如何持续提升模型能力，如何从企业现有应用和业务系统中提取高质量数据、把数据回流给记忆和模型，需要建立知识、模型、数据回流的迭代机制，持续提升智能效果。HR Agent协助HR进行招聘，在一定程度上是自然人与Agent协同的一种新的工作模式。岗位描述、投放渠道推荐、岗位发布、候选人搜索和推荐、候选人沟通、预约面试与答疑、组织面试、记录生成、结果匹配和评估、录用通知等过程，都以Agent为主完成或独立完成，涉及到多轮面试、结果确认、录用决策、入职培训等业务决策则需要人工参与。
把大模型应用到客服场景，目前基本上是两种方式：第一种是在一些具体的环节，通过模型来解决业务问题，辅助生成结果，第二种是模型、Agent、人协同工作，当前客服、保险代理、保险理赔等环节都在用这种方式。现在RAG的默认准确度，大概在50%，如果要提升到很高的等级，做到生产可以投产，至少要达到80%~90%以上，除了Prompt和垂域知识之外，还需要通过数据飞轮，业务产生高质量数据来对模型微调，提升高质量数据产生的过程，再通过建立数据回流机制，进一步提升效果。
华为All Intelligence实践从2019年就开始了，内部的零售、公共沟通、合同、工程、客服，员工各领域，有很多不同的岗位和角色，在这些流程中全面应用AI和大模型技术来赋能提升效率和改善体验，华为内部称之为知识和经验的一次革命！之前所有的知识和经验都是通过流程规范和业务文档去传承，现在可以压缩到模型里面，以模型驱动的AI应用的方式，直接进入到业务流程里面去交付。