使用open webui+ollama部署本地大模型

open,webui,ollama · 浏览次数 : 0

小编点评

**使用Open Webui+OLlama部署本地大模型** **步骤:** 1. **下载Docker镜像** - 从阿里云镜像镜像网站(cr.console.aliyun.com)拉取openwebui镜像的链接。 - 在Docker Desktop中找到设置,找到Docker Engine,在大括号内输入\"registry-mirrors\": [\"复制的网址\"]。 2. **启动Docker Engine** - 点击“Apply &restart”。 3. **配置Open Webui GitHub地址** - 在PowerShell中打开终端,运行以下命令: ```powershell docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ``` 4. **等待下载完成** - 在docker desktop的Images中可以看到下载的open webui镜像。 - 在浏览器中输入http://localhost:3000/即可进入刚进去的时候需要注册。 **注意:** - 使用阿里云镜像镜像下载速度更快。 - 在PowerShell中运行docker run命令时,需要在`host.docker.internal`中使用主机名称。 - 确保本地机器满足Open Webui的运行要求。

正文

使用open webui+ollama部署本地大模型

上次使用了angthingllm + ollama部署了本地大模型,详情见:https://www.cnblogs.com/jokingremarks/p/18151827

但是还是觉得可以用兼容性更好的open webui

1.安装docker

比较懒,所以还是在Windows系统上安装docker

docker官网链接:
https://www.docker.com/products/docker-desktop/

选择自己的系统等下载完毕以后就行了

image

启动虚拟化(Microsoft Hyper-V)

具体操作可以见这个文章的:https://www.cnblogs.com/jokingremarks/p/18156334

直接打开安装包,一路点下去即可

重启电脑以后就可以看到有个这个界面

image

点击accept,然后默认进入即可

如果遇到进不去,界面一直提示docker engine stopped,解决方法见链接:https://www.cnblogs.com/jokingremarks/p/18156334

2.拉取open webui镜像

最好配置个阿里云镜像,不然说实话拉取速度感人

阿里云镜像链接:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

image

复制这个链接,打开docker desktop,找到设置,找到Docker Engine,在大括号内输入

"registry-mirrors": ["复制的网址"],

然后点击Apply &restart可以配置成功

image

open webui的GitHub地址:https://github.com/open-webui/open-webui?tab=readme-ov-file#how-to-install-

找到readme部分

image

因为我们是本机安装的ollama,所以直接在 PowerShell(管理员运行) 里面执行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待进度条走完即可

这个时候在docker desktop的Images中就能看到下载的open webui了

image

3.open webui~ 启动!

启动就快了,点击run

image

等待加载,在浏览器中输入http://localhost:3000/即可进入

image

刚进去的时候需要注册,这个地方因为是本地的,所以不会有什么验证码之类的,正常填写就行

选择一个模型,这里你下载的ollama的模型都会在下拉框中

image

这个时候就可以开始问答环节了

image

与使用open webui+ollama部署本地大模型相似的内容:

使用open webui+ollama部署本地大模型

使用open webui+ollama部署本地大模型 上次使用了angthingllm + ollama部署了本地大模型,详情见:https://www.cnblogs.com/jokingremarks/p/18151827 但是还是觉得可以用兼容性更好的open webui 1.安装docker

LM Studio + open-webui 快速本地部署大语言模型

目录一、前言二、环境准备三、安装设置四、下载模型并运行五、配置 open-webui写在结尾 一、前言 自 OpenAi 发布 ChatGPT 对话性大语言模型,AI 这两年发展迎来爆发,国内外也衍生了大量的语言模型开放给公众使用。为了可以让更多人接触到AI,让本地化部署更加轻便快捷,于是就有了Ol

docker使用Open Policy Agent(OPA)进行访问控制

docker使用Open Policy Agent(OPA)进行访问控制,OPA 是一个开源的通用策略引擎,可以评估策略并做出决策,Rego 是一种用于编写策略的语言,是 OPA 的核心组成部分,docker安装OPA插件,启用OPA,OPA规则之允许docker所有操作,OPA规则之禁止docke...

[转帖]yum提示Error: rpmdb open failed 报错处理

Linux 下,在使用yum 安装时,可能会报以下错误: [root@localhost tmp]# yum --di sab1 erepo=* erase 1ibX11 rpmdb: Program version 4.7 doesn't match environment version 720

FFmpeg开发笔记(二十三)使用OBS Studio开启RTMP直播推流

​OBS是一个开源的直播录制软件,英文全称叫做Open Broadcaster Software,广泛用于视频录制、实时直播等领域。OBS不但开源,而且跨平台,兼容Windows、Mac OS、Linux等操作系统。 OBS的官网是https://obsproject.com/,录制软件名叫OBS

[转帖]使用 sysdig 进行监控和调试 linux 机器

https://cizixs.com/2017/04/27/sysdig-for-linux-system-monitor-and-analysis/ sysdig 简介 sysdig 官网 上对自己的介绍是: Open Source Universal System Visibility With

Llama2-Chinese项目:2.3-预训练使用QA还是Text数据集?

Llama2-Chinese项目给出pretrain的data为QA数据格式,可能会有疑问pretrain不应该是Text数据格式吗?而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术,给出pretrain的data为Text数据格式。所以推测应该pre

彻底理解Linux的DISPLAY变量的作用

背景 最近遇到个两年前遇到的问题,使用virt-manager提示(virt-manager:873): Gtk-WARNING **: 14:53:28.147: cannot open display: :1,当时专门运维的同事帮忙临时调了下DISPLAY变量,好像是将:1改成了SSH用户本地I

【.NET项目分享】免费开源的静态博客生成工具EasyBlog,5分钟拥有自己的博客

EasyBlog 说明 本博客系统通过构建工具生成纯静态的博客网站,借助GitHub Pages,你可以在5分钟内免费拥有个人博客。 它具有以下特点 生成纯静态网站,访问速度极快 使用markdown格式来编写博客内容 基于git代码管理来存储你的博客 使用CI工具来自动化部署你的博客站点 效果展示

[转帖]linux lsof 命令使用指南

https://cizixs.com/2017/05/16/linux-lsof-primer/ lsof 简介 lsof 是 list open files 的简称,正如名字所示,它的作用主要是列出系统中打开的文件。乍看起来,这是个功能非常简单,使用场景不多的命令,不过是 ls 的另一个版本。但是