使用 Semantic Kernel 实现 Microsoft 365 Copilot 架构

使用,semantic,kernel,实现,microsoft,copilot,架构 · 浏览次数 : 748

小编点评

**Copilot 聊天示例程序** **简介** Copilot 聊天示例程序介绍了如何使用 Microsoft Semantic Kernel 开发用于编排企业中各种系统的内核。该程序展示了如何使用 Semantic Kernel 连接微软 Graph 和大型语言模型 (LLM),并将其集成到 Microsoft 365 应用中。 **架构** * Copilot 系统:由 Copilot 系统、Microsoft 365 Apps、Microsoft Graph 和 LLM组成。 * Copilot 系统接收来自 Microsoft 365 应用的用户提示。 * Copilot 系统通过 Microsoft Graph 提供上下文信息。 * Copilot 系统接收来自 LLM 的响应并执行后处理。 * 后处理包括调用其他应用程序的命令生成、负责任的 AI 检查、安全性、合规性和隐私审查。 **示例** Semantic Kernel 示例程序展示了如何将 Microsoft Graph 连接到 LLM,并在此基础上构建一个聊天应用程序。程序允许用户通过语音或文本与聊天机器人交流,并提供个性化建议和推荐。 **关键功能** * 多语言支持:支持多个语言的 Microsoft Graph 连接。 * 记忆函数:允许用户使用记忆函数从 Memory 中存储和检索数据。 * Azure 认知搜索:允许用户在聊天中搜索和访问相关信息。 * 可扩展性:可扩展以满足不断增长的需求。 **结论** Copilot 聊天示例程序是一个可用于开发各种企业系统内核的框架。该程序展示了如何使用 Semantic Kernel 将大型语言模型集成到 Microsoft 365 应用中,并为用户提供个性化和便捷的聊天体验。

正文

3月16日,微软发布了微软365 Copilot[1]。 Microsoft 365 Copilot 将您现有的 Word、Excel、PowerPoint、Outlook 和 Teams 与大型语言模型 (LLM) 的强大功能以及来自 Microsoft Graph 和 Microsoft 365 应用的数据相结合,以创建前所未有的体验。正如您在官方视频中看到的那样,Microsoft 365 Copilot的核心是一个名为Copilot System的编排器。 今天Semantic Kernel 博客上发布了一篇文章介绍了Copilot 聊天示例程序[2]。 我认为很容易从这个Copilot 聊天示例程序开始 实现这样的一个架构。

1、Copilot 系统

让我们先简单介绍一下M365 Copilot系统的处理流程。 该系统由Copilot系统,Microsoft 365 Apps,Microsoft Graph[3] 和LLM(GPT-4)组成.

image

Copilot 系统首先接收来自 Microsoft 365 Word、Excel、PowerPoint、Outlook、Teams 等的用户提示。 这些指令不会作为提示直接发送到 GPT-4,而是通过 Microsoft Graph 提供必要的上下文。 这称为接地,如果是电子邮件回复提示,例如,您的电子邮件帐户信息。

image

接地上下文提示通过Copilot系统发送到LLM。

image

Copilot 系统接收来自LLM的响应并执行后处理。 此后处理包括对 Microsoft Graph 的其他调用、负责任的 AI 检查、安全性、合规性和隐私审查,以及 Microsoft 365 应用交互的命令生成。

image

已通过后处理步骤的处理结果和应用操作命令将返回到 Microsoft 365 中的调用应用。应用交互命令是用于处理添加图片或调整 PowerPoint 文本大小等功能的内部命令。

image

2、使用Semantic Kernel实现

在Semantic Kernel的示例中,可以通过内置的 Microsoft Graph 连接器在上下文中添加的: 连接器是技能的一部分,您还可以使用Memory函数从Memory中的键值存储和矢量数据库中检索和添加内存和先验知识。 当然,您可以自己自定义技能和连接器。 还可以将其连接到 Azure 认知搜索。

对于 Microsoft 365 应用(如商务聊天)和跨用户数据(日历、电子邮件、聊天、文档、会议和联系人)工作的应用),后端需要一个规划器来确定用户的问题意向,将其分解为任务,并将其与操作相关联。 语义内核包括一个计划器,用于将用户的复杂指令分解为任务。 使用规划器将公司系统的每个功能映射到您的技能。

image

Copilot Chat建立在微软的Semantic Kernel 之上,允许开发人员轻松地将大型语言模型(LLM)的强大功能集成到自己的应用程序中。通过我们的完整示例,你可以利用高级功能,例如多个对话主题、语音识别、文件上传,通过你自己的最新信息使聊天更智能,持久内存存储允许机器人在每次使用时变得越来越智能,甚至可以下载机器人与他人共享,加入他们的对话。

无论您是在构建客户服务工具、个性化推荐系统、人力资源助理、教育工具还是电子商务助手,我们的 Copilot Chat 都可以提供帮助。我们认为,从示例应用下载和生成会有很多好处。

改善用户体验:通过提供个性化帮助和自然语言处理,您自己的聊天机器人可以改善客户、学生和员工的用户体验。用户可以快速轻松地获得所需的信息,而无需浏览复杂的网站或等待客户服务代表的帮助。

提高效率: 通过处理客户服务或人力资源任务的聊天机器人,您可以让员工专注于需要人工干预的更复杂的任务。这可以提高组织的效率并降低成本。

个性化推荐:通过自然语言处理和持久内存存储,您的聊天机器人可以为产品、服务或教育资源提供个性化推荐。这可以提高客户满意度并推动销售。

改进的可访问性:通过语音识别和文件上传,您的聊天机器人可以为用户提供更准确和个性化的帮助。例如,难以浏览网站的患者可以更轻松地使用聊天,并快速有效地接收所需的信息。

可扩展性:通过处理客户服务或教育任务的聊天机器人,您可以轻松扩展以满足不断增长的需求,而无需雇用更多员工。这可以降低成本并增加收入。

总结

Semantic Kernel 支持快速开发用于编排企业中各种系统的内核。 要使用的模型是 Azure OpenAI 服务,它具有丰富的企业安全性,我们可以从Copilot Chat示例程序开始。


相关链接:

[1] 微软365 Copilot: https://www.microsoft.com/en-us/microsoft-365/blog/2023/03/16/introducing-microsoft-365-copilot-a-whole-new-way-to-work/

[2]Copilot 聊天示例程序: https://devblogs.microsoft.com/semantic-kernel/announcing-copilot-chat/

[3]Microsoft Graph: https://learn.microsoft.com/graph/overview

与使用 Semantic Kernel 实现 Microsoft 365 Copilot 架构相似的内容:

使用 Semantic Kernel 实现 Microsoft 365 Copilot 架构

3月16日,微软发布了微软365 Copilot[1]。 Microsoft 365 Copilot 将您现有的 Word、Excel、PowerPoint、Outlook 和 Teams 与大型语言模型 (LLM) 的强大功能以及来自 Microsoft Graph 和 Microsoft 365

使用Microsoft.SemanticKernel基于本地运行的Ollama大语言模型实现Agent调用函数

大语言模型的发展日新月异,记得在去年这个时候,函数调用还是gpt-4的专属。到今年本地运行的大模型无论是推理能力还是文本的输出质量都已经非常接近gpt-4了。而在去年gpt-4尚未发布函数调用时,智能体框架的开发者们依赖构建精巧的提示词实现了gpt-3.5的函数调用。目前在本机运行的大模型,基于这一

使用 MRKL 系统跨越神经符号鸿沟

本文展示了自然语言处理的下一步发展——模块化推理、知识和语言( the Modular Reasoning, Knowledge and Language,简称为MRKL)系统以及LangChain和Semantic Kernel的实现。 MRKL 系统包括一个或多个语言模型,并通过外部知识源和符号

Semantic Kernel入门系列:通过依赖注入管理对象和插件

前言 本章讲一下在Semantic Kernel中使用DependencyInject(依赖注入),在之前的章节我们都是通过手动创建Kernel对象来完成框架的初始化工作,今天我们用依赖注入的方式来实现。 实战 定义Native Plugins 我们用官网的LightPlugins插件来演示依赖注入

在GPT-4时代使用Semantic Kernel构建AI Copilot问答 以及 Semantic Kernel文档更新

Semantic Kernel是一个开源SDK,可让您轻松地将OpenAI,Azure OpenAI和Hugging Face等AI服务与C#和Python等传统编程语言相结合。通过这样做,您可以创建结合两全其美的 AI 应用程序。 Semantic Kernel 团队在博客上发布了2篇文章:Sem

微软博客上几篇 Semantic-kernel (SK)文章

自从最近微软开源Semantic-kernel (SK) 来帮助开发人员在其应用程序中使用AI大型语言模型(LLM)以来,Microsoft一直在忙于改进它,发布了有关如何使用它的新指南并发布了5篇文章介绍他的功能。 开发人员可以使用Semantic-kernel (SK) 创建自然语言提示、生成响

文章《Semantic Kernel -- LangChain 的替代品?》的错误和疑问 探讨

微信公众号文章 Semantic Kernel —— LangChain 的替代品?[1] ,它使用的示例代码是Python ,他却发了这么一个疑问:支持的语言对比(因为 Semantic Kernel 是用 C#开发的,所以它对 C#比较支持)如上所示。不清楚 Semantic Kernel 为什

.NET 6+Semantic Kernel快速接入OpenAI接口

Semantic Kernel 与 LangChain 类似,但 Semantic Kernel 是为应用开发开发人员创建的SDK项目,它支持.NET, Python 以及 Java,但是对.NET支持最成熟(微软自家孩子嘛),可以让你的应用很轻易的集成AI大语言模型。今天我们快速地使用Semant...

(1)semantic-kernel入门课程

(1)semantic-kernel入门课程 获取OpenAI在线API 由于在国内的限制,我们并没有办法直接访问OpenAI,所以下面的教程我们会推荐使用https://api.token-ai.cn,然后您需要在这个网站中注册一个账号,并且创建一个令牌(最好是设置无限额度和无过期时间),创建好的

入门Semantic Kernel:OneApi集成与HelloWorld

引言 从这一章节开始正式进入我们的 Semantic Kernel 的学习之旅了。 什么是Semantic Kernel? Semantic Kernel是一个轻量级的开源框架,通过 Semantic Kernel 可以快速使用不同编程语言(C#/Python/Java)结合 LLMs(OpenAI