如何拥有自己的专属GPT-本地部署目前最强大模型llama3

gpt,llama3 · 浏览次数 : 0

小编点评

**作者安装和使用ChatGPT的步骤:** **1. 下载并安装docker** - 打开官方网站 docker.com 下载 Docker Desktop 版本。 - 双击下载文件,安装 Docker Desktop。 **2. 安装Ollama模型** - 在 Windows 命令行中运行以下命令: ``` docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama ``` - 此命令将从网络中获取 Ollama 模型并运行 Ollama。 - 注意:如果 Ollama 模型未安装,请从网络获取。 **3. 启动Open WebUI** - 在 Windows 命令行中运行以下命令: ``` docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ``` - 此命令将从 Docker Hub 上下载 Open WebUI镜像并运行 Open WebUI。 **4. 注册账号并设置模型** - 启动 Open WebUI,访问 localhost:3000。 - 点击登录,注册账号。 - 选择刚创建的 Ollama3 模型,即可提问。 **完成步骤后,您可以使用您的 Ollama3 模型进行 AI 操作。**

正文

你是不是苦于没法使用ChatGPT?或者访问了ChatGPT却没法使用GPT4?现在一切问题都可以解决了!
4月18日,Meta发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。
所以Llama3成了ChatGPT最好的平替。

本文教你一步一步在本地部署目前最先进的开源大模型llama3,让你再也不用忍受网络问题,且可以无限制使用大模型。非常简单,包教包会。

先讲下作者的开发环境:内存 32G,显存22G,Windows

1. 安装docker

什么是docker?
简单来讲,可以将docker理解为轻量版的虚拟机。也许你曾经遇到过,使用某一个软件的时候环境不通、还要安装各种依赖等等问题,经常会导致卡在某一步无法进行。所以容器化很好的解决了这个问题,会将你需要的环境、前置的依赖等等打包成镜像,你可以在容器中直接运行。

首先访问docker官网,下载docker桌面版。

image

下载完成后双击打开直接安装。
image

上图是我已经安装成功了。

2. 安装ollama

随着LLM发展越来越快,一些优秀的开源大语言基座模型得到了广泛应用。比如meta发布的llama3,google发布的gemma等等。每次大模型的发布都号称史上最强,但到底怎么样你自己体验了才能知道。
Ollama就是做这个事情的,让你能快速在本地也能跑起来各种大模型。
Ollama可以直接部署在本地,也可以部署在docker上,简单起见,我们还是部署在docker上比较好。
首先打开Windows命令行,可以使用win+r,然后输入cmd即可打开。

image

然后输入命令

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

如果没有ollama镜像,会自动从网络获取ollama镜像。

image

我这个是已经安装过了。

tips:最好使用命令行运行,主要是为了打开11434端口,为了后面可视化做准备。

3. 安装llama3模型

在docker desktop找到ollama的容器,点击进入

image

点击exec进入容器命令行。

image

运行命令

ollama run llama3

ollama会自动下载llama3模型并运行。
等待下载完成后,显示success便是运行成功,这时候就可以向它提问了。

image

以上是我向它提的问题,可以看到已经有了回答。

4. 安装Open WebUI

虽然大模型已经安装成功,但是总不能一直用命令行来提问吧,非常不友好。如何才能像ChatGPT那样呢?
不用担心,开源社区总会有惊喜,Open WebUI就是做这个的。

打开命令行,执行下面的命令。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

image

没有镜像会自动下载好Open WebUI的镜像,然后执行。

image

这时候你打开docker desktop,可以看到open-webui已经在运行中了。

打开浏览器,输入localhost:3000,看到有登录界面,就算安装成功了。
image

可以注册一个账号再登录。
image

这时候还没有完,需要在上面设置模型后才能使用。
image

选择刚才创建好的llama3,这时候就可以提问啦。

image

看到这里就大功告成了,你已经拥有了自己的ChatGPT,please enjoy your llm。

结束

后面我会持续分享AI相关的技术,欢迎大家关注。
如果在安装过程中出现各种问题,也欢迎提问,笔者非常乐于解答。

与如何拥有自己的专属GPT-本地部署目前最强大模型llama3相似的内容:

如何拥有自己的专属GPT-本地部署目前最强大模型llama3

你是不是苦于没法使用ChatGPT?或者访问了ChatGPT却没法使用GPT4?现在一切问题都可以解决了! 4月18日,Meta发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法,Llama 3 8B和Llama 3 70

「硬核」实操如何拥有一个自己的数字人模型

本文大致分为三个章节: 第一部分会介绍常用技术以及简介,以及自己用到构建一个自己虚拟数字人用到的3D引擎和三维软件 第二部分会详细描述生成细节,通过照片建模,创建模型,添加细节,添加表情,优化效果,接入场景,最终效果 第三部分总结本篇内容

鲸鸿动能广告接入如何高效变现流量?

广告是App开发者最常用的流量变现方法之一,当App拥有一定数量用户时,开发者就需要考虑如何进行流量变现,帮助App实现商业可持续增长。 鲸鸿动能流量变现服务是广告服务依托华为终端强大的平台与数据能力为开发者提供的App流量变现服务,开发者通过该服务可以在自己的App中获取并向用户展示精美的、高价值

从热爱到深耕,全国Top10开源软件出品人手把手教你如何做开源

摘要:DTT直播邀请到管雷鸣与广大开发者分享“如何在开源领域找到适合自己的路”。 “想象一下,你写的代码被越来越多的人使用,并极大地帮助他们提高了开发效率和稳定性。”这是不是一件很酷的事?而这正是开源的魅力… 开源作为一种推动软件开发技术创新的新模式,广受开发者的喜爱。作为拥有40余个开源项目,全国

如何规范App广告的隐私获取,让用户拥有更多知情权?

随着互联网的不断普及,越来越多老百姓使用智能设备触达互联网。但用户经常发现自己无意间提到的东西,打开App就收到相关产品的广告推送,甚至有人怀疑手机App是通过麦克风来窃取自己平时聊天信息中的关键词进行定向的广告推送。 这种怀疑不无道理,与传统广告相比,如今的媒体广告主投放的广告定位更准确、形式更丰

成为钢铁侠!只需一块RTX3090,微软开源贾维斯(J.A.R.V.I.S.)人工智能AI助理系统

梦想照进现实,微软果然不愧是微软,开源了贾维斯(J.A.R.V.I.S.)人工智能助理系统,贾维斯(jarvis)全称为Just A Rather Very Intelligent System(只是一个相当聪明的人工智能系统),它可以帮助钢铁侠托尼斯塔克完成各种任务和挑战,包括控制和管理托尼的机甲装备,提供实时情报和数据分析,帮助托尼做出决策等等。 如今,我们也可以拥有自己的贾维斯人工智能助理

[转帖]保护好自己的服务器,fail2ban使用基本教程

https://zhuanlan.zhihu.com/p/528392777 不知道小伙伴们是不是拥有一台自己的云服务器呢?如果有请“点赞”,如果没有请点击“在看”。 我拥有的第一台云服务器其实是在我大学的时候,也就是在云服务等一众概念推向市场的时候,特别是阿里云的产品,没用过但也有听说过,但我的的

30分钟快速搭建并部署一个免费的个人博客

前言 现如今网上有许多完善的博客平台,如博客园、掘金、思否、知乎等。有人会说为什么现在网上有这么多成熟的博客平台,你还要浪费时间搭建一个自己的博客系统呢?首先我相信每一个程序员都会想要拥有一个属于自己的博客系统,其次使用Docsify能够快速构建一个自己的博客文档系统,最后我们可以通过Github

Git:国内用命令行访问GitHub的方法

首先可以直接改Hosts文件(现在不太管用了)。如果你是Linux或Mac系统,那么可以通过命令sudo vim /etc/hosts打开Hosts文件并进行修改。如果你已经拥有了网络代理服务,那么我们可以在此基础上配置终端代理。我们查看得知自己代理服务器的IP地址为http://127.0.0.1,端口号为7890,则我们就可以使用这里的IP地址和端口号配置GitHub的终端代理了:git co

如何使用Python和Plotly绘制3D图形

本文分享自华为云社区《Plotly绘制3D图形》 ,作者:柠檬味拥抱。 在数据可视化领域,三维图形是一种强大的工具,可以展示数据之间的复杂关系和结构。Python语言拥有丰富的数据可视化库,其中Plotly是一款流行的工具,提供了绘制高质量三维图形的功能。本文将介绍如何使用Python和Plotly