基于AIGC的京东购物助手的技术方案设想

基于,aigc,京东,购物,助手,技术,方案,设想 · 浏览次数 : 147

小编点评

**技术方案** **1. 语言理解** - 使用Prompt将用户意图识别并将其解析为购物需求。 **2. 网页搜索** - 通过Selenium框架在京东商城进行搜索,获取目标商品的商品名称、价格、链接。 **3. AIGC服务** - 使用OpenAI插件提供商品推荐和搜索功能。 **4. 数据处理** - 合并来自OpenAI插件和京东商城的信息,形成完整的购物指南。 **5. 用户反馈** - 生成markdown格式的购物指南,交给用户阅读。 **6. 自动化代理** - 使用LangChain框架搭建自动化代理平台,将AI购物助手与线下商城导购员集成。 **简化方案** - 通过Prompt识别用户意图。 - 使用Selenium搜索商品。 - 使用OpenAI提供商品推荐。 - 整合京东商城知识库。 - 生成markdown文档,交给用户阅读。 **改进方向** - 使用多语言支持。 - 添加个性化推荐功能。 - 引入聊天机器人技术。

正文

灵感来源

随着AIGC的爆火,ChatGPT,GPT-4的发布,我作为一个算法工作者,深感AI发展的迅猛。最近,OpenAI的插件和联网功能陆续向用户公开,我也在第一时间试用了这些最新的功能。在OpenAI的插件市场上,我被一个可以帮助分析食谱,并生成购物清单的功能所吸引。我开始思考,如果我能够基于京东商城和AIGC的能力,帮助用户分解需求,在商城搜索相关商品,并直接返回他们想要的商品,甚至将所需商品直接加入到购物车,待后续用户结账购买,那将会是多么方便。

技术方案

方案设想

虽然我不清楚OpenAI上的Plugins是如何将OpenAI与插件所对应的网站结合的具体细节,但我认为大致的思路应该是这样的:通过GPT去判断用户的意图,如果OpenAI察觉到用户有插件对应的意图,它就去调用插件,从而提供服务。另外,由于我没有京东内部的搜索查询,购物车等接口,所以我暂时通过自动化测试软件模仿人类点击查询等操作来提供服务。

方案逻辑

我想做一个购物助手,并且只想做一个POC验证,所以技术上一切从简。大致的技术细节如下图所示:
技术方案.drawio.png
在开始的时候,通过Prompt,让GPT判断用户意图。如果GPT判断出用户有购物意图,那么它将分解需求,并生成推荐的物品。然后,通过Selenium等框架操纵浏览器在京东商城进行搜索,将目标商品的商品名称,价格,链接进行整合返回给GPT。最后,GPT将这些信息整理成markdown格式的文档,交给用户阅读。

简单地说,我用Gradio搭建前端界面,OpenAI提供AIGC支持,Selenium进行网络操作。

结果展示

样例1

输入:
7a9fa484103971aa.png

输出:
20AA968D-727B-4FFF-9D3F-96D3845E1327.png

样例2

输入:
8fa7047689e5019a.jpg

输出:
2c8bbea7ee99e31c.png

样例3

输入:
cd715a6fc10ace3e.jpg

输出:
250e21b861e4c2e6.png

改进方向

虽然现在的工具使用还是比较简单,对于用户意图也只是手动判断,但未来有很大的改进空间。我计划通过LangChain等框架,搭建自动化代理平台,并整合商城知识库,让AI购物助手能向线下商城导购员趋同。这样,我们就可以提供更加个性化和高效的购物体验。

作者:京东工业 边圣陶

来源:京东云开发者社区

与基于AIGC的京东购物助手的技术方案设想相似的内容:

基于AIGC的京东购物助手的技术方案设想

随着AIGC的爆火,ChatGPT,GPT-4的发布,我作为一个算法工作者,深感AI发展的迅猛。最近,OpenAI的插件和联网功能陆续向用户公开,我也在第一时间试用了这些最新的功能。在OpenAI的插件市场上,我被一个可以帮助分析食谱,并生成购物清单的功能所吸引。

[Python急救站]基于Transformer Models模型完成GPT2的学生AIGC学习训练模型

为了AIGC的学习,我做了一个基于Transformer Models模型完成GPT2的学生AIGC学习训练模型,指在训练模型中学习编程AI。 在编程之前需要准备一些文件: 首先,先win+R打开运行框,输入:PowerShell后 输入: pip install -U huggingface_hu

AIGC的行业发展

1. AIGC的行业发展 AIGC(Artificial Intelligence Generated Content,人工智能生成内容)是利用人工智能技术来自动生成内容的一种新型内容创作方式。它基于生成对抗网络(GAN)、大型预训练模型等技术,通过对已有数据进行学习和模式识别,以适当的泛化能力生成

AIGC革新,将文字或者LOGO融入AI视频基于PIKA-labs(Python3.10)

很多平台都会禁止用户使用带有网址或者二维码的头像以及文章配图,这样可以有效的防止用户的一些“导流”行为。当然,头像、文章或者视频现在都是AI来审,毕竟现在人工的成本实在太高,但是如果我们把文字元素直接融入图像或者视频之中,如此一来,AI也会很难识别出一些“导流”的元素。 本次我们依靠PIKA-lab

南洋才女,德艺双馨,孙燕姿本尊回应AI孙燕姿(基于Sadtalker/Python3.10)

孙燕姿果然不愧是孙燕姿,不愧为南洋理工大学的高材生,近日她在个人官方媒体博客上写了一篇英文版的长文,正式回应现在满城风雨的“AI孙燕姿”现象,流行天后展示了超人一等的智识水平,行文优美,绵恒隽永,对AIGC艺术表现得极其克制,又相当宽容,充满了语言上的古典之美,表现出了“任彼如泰山压顶,我只当清风拂

基于 Three.js 的 3D 模型加载优化

作为一个3D的项目,从用户打开页面到最终模型的渲染加载的时间也会比普通的H5项目要更长一些,从而造成大量的用户流失。为了提升首屏加载的转化率,需要尽可能的降低loading的时间。这里就分享一些我们在模型加载优化方面的心得。

基于MindSpore实现BERT对话情绪识别

本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别》,作者:JeffDing。 模型简介 BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Trans

基于 Vagrant 手动部署多个 Redis Server

环境准备 宿主机环境:Windows 10 虚拟机环境:Vagrant + VirtualBox Vagrantfile 配置 首先,我们需要编写一个 Vagrantfile 来定义我们的虚拟机配置。假设已经在 D:\Vagrant\redis 目录下创建了一个 Vagrantfile,其内容如下:

基于EF Core存储的Serilog持久化服务

前言 Serilog是 .NET 上的一个原生结构化高性能日志库,这个库能实现一些比内置库更高度的定制。日志持久化是其中一个非常重要的功能,生产环境通常很难挂接调试器或者某些bug的触发条件很奇怪。为了在脱离调试环境的情况下尽可能保留更多线索来辅助解决生产问题,持久化的日志就显得很重要了。目前Ser

基于EF Core存储的国际化服务

前言 .NET 官方有一个用来管理国际化资源的扩展包Microsoft.Extensions.Localization,ASP.NET Core也用这个来实现国际化功能。但是这个包的翻译数据是使用resx资源文件来管理的,这就意味着无法动态管理。虽然官方有在文档中提供了一些第三方管理方案,但是都不太