开源一个RAG大模型本地知识库问答机器人

rag · 浏览次数 : 0

小编点评

2009年至2024年,这15年来,我经历了从大学毕业到全职创业的过程。在这个过程中,我接触并学习了开源软件,如PHP的workerman和swoole等,这些项目对我的项目开发产生了很大的提升。同时,我也关注到了大模型在客服领域的应用,但发现目前还没有太多成功的案例。 我认为,企业在使用大模型进行客服服务时需要注意以下几点: 1. 企业的客服服务非常严谨,不能乱回答。例如,在电商场景中,用户询问产品是否能退款,大模型需要根据企业的知识库来判断。如果产品价格较高,还需要进一步判断是否要退款,这方面的问题可能需要人工回答。 2. 企业的资料保密性非常重要。大模型在处理企业资料时,实际上也将资料作为语料进行训练。因此,企业不会轻易将敏感资料传给大模型。之前就曾发生过三星把芯片资料传给大模型,导致敏感技术资料泄密的事件。 3. 大模型从问答到企业部署到自己的客服渠道,需要付出很多工作量。企业需要覆盖各种场景,如APP、公司官网、公众号、小程序、视频号等。然而,大多数企业并没有这样的开发实力。 针对这些问题,我提出了一个基于大模型的问答机器人的想法,旨在帮助企业更方便地部署客服系统。这个系统可以实现以下功能: 1. 渠道统一管理:将常用渠道默认支持,方便企业使用。 2. 企业知识库管理简化:将文档、网址、PDF、Excel等直接上传,支持基于知识库的问答。 通过实现这些功能,企业可以轻松地部署自己的客服系统,提高客户服务质量。

正文

弹指间,2009年大学毕业到现在2024年,已经15年过去了。

前2天,看到自己14年在博客园写的一个博客,哪个时候是工作之余创业

感兴趣的朋友可以看看我10年前发的一篇博客 https://www.cnblogs.com/likwo/p/3832795.html

目前全职创业中,用过不少开源软件,比如php的workerman , swoole等,但老实话,开源的项目质量非常高,也对我的项目开发提升非常多。

目前大模型非常火爆,很多企业一直想把大模型用在企业的客服中,但是基本上没有太多的成功案例。这个事情,我思考了下

1. 企业的客服服务是非常严谨的,不能乱回答。

比如在电商场景,用户说这个产品是否可以退款, 那大模型如果回答说可以。如果产品价格非常高,比如在1万以上,那么这个产品是不是要退款?损失谁来回答。 所以企业必须要机器人严格按照企业的知识库的要求来,不能乱回答

 

2.企业的资料的保密性

目前的大模型,当你把资料传给大模型的时候,实际上,你把资料也给机器人当做语料去训练机器人了,你的文档就是公开的文档了,这对许多企业来说,基本上不会把敏感资料传给大模型了

还记得之前网上报道过,三星把一个芯片资料传给大模型,导致敏感技术资料泄密的问题。

 

ChatGPT「奶奶漏洞」又火了,扮演过世祖母讲睡前故事,骗出Win11序列号

 

3 大模型从问答,到企业部署到自己的客服渠道,有大多的工作量

  大模型提高了接口,提供了文字问答能力,但是,企业的客户咨询,是从

  1 APP里

  2 公司官网

  3 公众号,小程序,视频号

  4 抖音

  5 小红书

  6 微博

这么渠道,各个场景都要去覆盖,一般的企业根本就没这个开发实力。

 

基于这个想法,我就想做个基于大模型的问答机器人,完全打通小程序客服,微信公众号客服,视频号小店客服,H5APP客服,公司官网,部署简单。这样企业就很方便的部署起来。

我的想法是

方法一:渠道统一管理, 把常用的渠道,全部默认支持到

 方法二 :将企业知识库管理简单化 

             直接将doc,网址,pdf ,excel 直接上传到,就可以支持基于知识库的问答了。

 

 上传的知识库,进行分段embedding操作

 

最后创建机器人,关联这个知识库,就可以对外提供服务了

 

以下是我们的架构图

下面是具体的一些介绍

logo

ChatWiki

ChatWiki是一款开源的知识库 AI 问答系统。系统基于大语言模型(LLM )和检索增强生成(RAG)技术构建,提供开箱即用的数据处理、模型调用等能力,可以帮助企业快速搭建自己的知识库 AI 问答系统。

能力


1、专属 AI 问答系统

通过导入企业已有知识构建知识库,让 AI 机器人使用关联的知识库回答问题,快速构建企业专属 AI 问答系统。

2、一键接入模型

ChatWiki已支持全球20多种主流模型,只需要简单配置模型API key等信息即可成功接入模型。

3、数据自动预处理

提供自动分段、QA分段、手动输入和 CSV 等多种方式导入数据,ChatWiki自动对导入的文本数据进行预处理、向量化或 QA 分割。

4、简单易用的使用方式

ChatWiki采用直观的可视化界面设计,通过简洁易懂的操作步骤,可以轻松完成 AI 问答机器人和知识库的创建。

5、适配不同业务场景

ChatWiki为 AI 问答机器人提供了不同的使用渠道,支持H5链接、嵌入网站、绑定到微信公众号或小程序、桌面客户端等,可以满足企业不同业务场景使用需求。

开始使用


准备工作

再安装ChatWiki之前,您需要准备一台具有联网功能的linux服务器,并确保服务器满足最低系统要求

  • Cpu:最低需要2 Core
  • RAM:最低需要4GB

开始安装

ChatWiki社区版基于Docker部署,请先确保服务器已经安装好Docker。如果没有安装,可以通过以下命令安装:

sudo curl -sSL https://get.docker.com/ | CHANNEL=stable sh
 

安装好Docker后,逐步执行一下步骤安装ChatWiki社区版

(1).克隆或下载chatwiki项目代码

git clone https://github.com/zhimaAi/chatwiki.git
 

(2).使用Docker Compose构建并启动项目

cd chatwiki/docker
docker compose up -d

部署手册

在安装和部署中有任何问题或者建议,可以联系我们获取帮助,也可以参考下面的文档。

界面


1 2 3

4 5 6

7 8 9

技术架构


Architecture diagram

技术栈


  • 前端:vue.js

  • 后端:golang +python

  • 数据库:PostgreSQL16+pgvector+zhparser

  • 缓存:redis5.0

  • web服务:nginx

  • 异步队列:nsq

  • 进程管理:supervisor

  • 模型:支持OpenAI、Google Gemini、Claude3、通义千文、文心一言、讯飞星火、百川、腾讯混元等模型。

 感兴趣的朋友,可以去我们github  https://github.com/zhimaAi/chatwiki  地址里点个star, 多谢多谢! 

 

与开源一个RAG大模型本地知识库问答机器人相似的内容:

开源一个RAG大模型本地知识库问答机器人

弹指间,2009年大学毕业到现在2024年,已经15年过去了。 前2天,看到自己14年在博客园写的一个博客,哪个时候是工作之余创业 感兴趣的朋友可以看看我10年前发的一篇博客 https://www.cnblogs.com/likwo/p/3832795.html 目前全职创业中,用过不少开源软件,

实战0-1,Java开发者也能看懂的大模型应用开发实践!!!

前言 在前几天的文章《续写AI技术新篇,融汇工程化实践》中,我分享说在RAG领域,很多都是工程上的实践,做AI大模型应用的开发其实Java也能写,那么本文就一个Java开发者的立场,构建实现一个最基础的大模型应用系统。 而大模型应用系统其实在目前阶段,可能应用最广的还是RAG领域,因此,本文也是通过

【高级RAG技巧】在大模型知识库问答中增强文档分割与表格提取

前言 文档分割是一项具有挑战性的任务,它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要,但是目前大多数开源库的处理能力有限。 这些开源的库或者方法缺点大致可以罗列如下: 只能处理文本,无法提取表格中的内容 缺乏有效的分割策略,要么是一整个文档全部提取,要么是词粒度的获取

微软开源 MS-DOS「GitHub 热点速览」

上周又是被「大模型」霸榜的一周,各种 AI、LLM、ChatGPT、Sora、RAG 的开源项目在 GitHub 上“争相斗艳”。这不 Meta 刚开源 Llama 3 没几天,苹果紧跟着就开源了手机端大模型:CoreNet。 GitHub 地址:github.com/apple/corenet 开

构建RAG应用-day05: 如何评估 LLM 应用 评估并优化生成部分 评估并优化检索部分

评估 LLM 应用 1.一般评估思路 首先,你会在一到三个样本的小样本中调整 Prompt ,尝试使其在这些样本上起效。 随后,当你对系统进行进一步测试时,可能会遇到一些棘手的例子,这些例子无法通过 Prompt 或者算法解决。 最终,你会将足够多的这些例子添加到你逐步扩大的开发集中,以至于手动运行

使用ChatGPT自动构建知识图谱

1.概述 本文将探讨利用OpenAI的gpt-3.5-turbo从原始文本构建知识图谱,通过LLM和RAG技术实现文本生成、问答和特定领域知识的高效提取,以获得有价值的洞察。在开始前,我们需要明确一些关键概念。 2.内容 2.1 什么是知识图谱? 知识图谱是一种语义网络,它表示和连接现实世界中的实体

开源一个反sql注入的asp.net core中间件

现在公安有一个专门负责信息安全的部门,前几天公司就收到了一个整改通知,防sql注入的整改。 我们公司开始对网站进行了简单的测试,普通的sql都能检测出来。 但还是被发了整改通知,肯定有些sql注入的方法没测出来,于是我就开始查找了sql注入的手法。 sql注入主要有:基于注释、基于一般错误、基于时间

微软开源了一个 助力开发LLM 加持的应用的 工具包 semantic-kernel

在首席执行官萨蒂亚·纳德拉(Satya Nadella)的支持下,微软似乎正在迅速转变为一家以人工智能为中心的公司。最近微软的众多产品线都采用GPT-4加持,从Microsoft 365等商业产品到“新必应”搜索引擎,再到低代码/无代码Power Platform等面向开发的产品,包括软件开发组件P

又一个开源便斩获 7k star 的新模型「GitHub 热点速览」

Star 并不能代表什么,但是绝对能表示一个项目的受欢迎程度。就像刚开源一周就有 7k+ star 的新模型,输入文本 / 图像就能获得 3D 对象。除了这个新模型,本周还有一款新的 Web 3D 渲染引擎 Orillusion,向量数据库新晋成员 qdrant。还有老牌魔兽世界为它站台的游戏解决方

【开源】最近写了一个简单的网址导航网站

前言 随着团队的成长,要管理的项目或使用的内部系统越来越多,很多内部系统都没有域名,使用IP+端口,很难记。 为了解决这个痛点,我抽空写了个导航网站~ 目前用下来效果还不错,可以基本完美的解决这个问题。 项目名称是 SiteDirectory ,代码在 Github 开源了: https://git