大模型学习 - 内网环境搭建

模型,学习,内网,环境,搭建 · 浏览次数 : 48

小编点评

## 安装PyTorch环境 **环境:** * 内网 * 离线安装系统:Linux cdh12 3.10.0-1160.e17.x86_64内存(377G)、GPU(P40-25G)*8 **安装步骤:** 1. 下载PyTorch版本2.0以上版本的源代码: * 清华源:pytorchtorchvisiontorchaudiopytorch-cuda=11.7 * Pypi源:nvidia-cunn-cu11 nvidia-cublas-cu11 nvidia-cuda-nvrtc-cu11 nvidia-cuda-runtime-cu11 2. 创建一个名为`pytorch`的文件夹,并进入该文件夹: ``` mkdir -p ~/.vscode-server/bin/pytorch cd ~/.vscode-server/bin/pytorch ``` 3. 下载PyTorch版本2.0以上版本的源代码并解压缩: ``` wget -O torch-version_2.0.0-py3-torch.tar.gz -P ~/.vscode-server/bin/ tar -zxvf torch-version_2.0.0-py3-torch.tar.gz -C ~/.vscode-server/bin/ ``` 4. 设置环境变量: ``` export PYTORCH_HOME=~/.vscode-server/bin/torch export PATH="$PATH:$PYTORCH_HOME/bin" ``` 5. 启动vscode-server: ``` ./vscode-server-linux-x64.tar.gz ``` 6. 启动VScode远程连接服务器: * 设置连接信息 * 选择对应的别名 * 输入密码 * 启动VScode远程连接服务器 **注意:** * 为了确保远程连接成功,请确保Windows和Linux的VScode版本一致。 * 安装vscode-server-linux-x64.tar.gz时,请注意替换`commit_id`的值。

正文

环境:

  • 内网,以下安装均为离线安装
  • 系统:Linux cdh12 3.10.0-1160.e17.x86_64
  • 内存(377G)、GPU(P40-25G)*8)

安装Anaconda

参考:

在回车接收许可时,可得按慢点,不然还得重新开始:

image-20230921160855441

安装CUDA Toolkit

参考:https://blog.csdn.net/weixin_44864260/article/details/127770525

我拿到机器的时候已经安装好:

image-20230922102736668

离线安装PyTorch

参考:https://blog.csdn.net/weixin_44864260/article/details/127770525

我这里选择的是:

image-20230922111647160

没有创建虚拟环境,直接在base中执行安装,但报错了,是依赖包没有安装:

image-20230922103402055

开始逐个安装依赖,阿里源地址(https://mirrors.aliyun.com/pypi/simple/),Pypi源(https://mirrors.aliyun.com/pypi/simple/):

image-20230922104120945

最好安装torch 2.0以上版本,但通过这种方式一直安装不上!!!

  • 安装2.0.0以上

参考:零基础之Centos7下使用Conda安装Pytorch环境

我这里的环境是:

image-20230926125559977

所以需要下载,下载地址:清华源

  • pytorch
  • torchvision
  • torchaudio
  • pytorch-cuda=11.7

image-20230926130036908

然后逐个安装即可:

image-20230926130218115

检测一下:

image-20230926130257860

linux免密登陆

主机:Windows,目标主机:Linux

参考:windows实现ssh免密登录服务器

重点就是密钥生成:

ssh-keygen

然后上传公钥至服务器!

VScode远程访问

参考:VSCode内网远程连接服务器

注意:下载对应的ms-vscode-remote.remote-ssh插件时,内网和外网的VScode版本一定得一直,不然安装失败。

在执行完第2步时,我这在侧边栏中并不会出现远程连接的符号:

image-20230921155024164

为了继续执行(),按F1调出命令控制,输入ssh ,选择:

image-20230921155307444

在设置好连接信息后,选择对应的别名,根据提示填入密码,即可控制:

image-20230921155442781

在远程给服务器安装vscode-server-linux-x64.tar.gz时,需要注意,替换commit_id即可,不加${}:

mkdir -p ~/.vscode-server/bin/commit_id
tar -zxvf /tmp/vscode-server-linux-x64.tar.gz -C ~/.vscode-server/bin/commit_id --strip 1
touch ~/.vscode-server/bin/commit_id/0

这样就可以了!

与大模型学习 - 内网环境搭建相似的内容:

大模型学习 - 内网环境搭建

大模型学习 - 内网环境搭建 环境: 内网,以下安装均为离线安装 系统:Linux cdh12 3.10.0-1160.e17.x86_64 内存(377G)、GPU(P40-25G)*8) 安装Anaconda 参考: linux离线环境下安装anaconda anaconda python 版本

LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]

LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]

LLM 大模型学习必知必会系列(十):基于AgentFabric实现交互式智能体应用,Agent实战

LLM 大模型学习必知必会系列(十):基于AgentFabric实现交互式智能体应用,Agent实战 0.前言 **Modelscope **是一个交互式智能体应用基于ModelScope-Agent,用于方便地创建针对各种现实应用量身定制智能体,目前已经在生产级别落地。AgentFabric围绕可

LLM 大模型学习必知必会系列(八):10分钟微调专属于自己的大模型

LLM 大模型学习必知必会系列(八):10分钟微调专属于自己的大模型 1.环境安装 # 设置pip全局镜像 (加速下载) pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ # 安装ms-swift pip

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践

LLM 大模型学习必知必会系列(三):LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程: 多模态的 LLM 的原理: 代码演示:使用 ModelScope NoteBook 完成语言大模型,视觉大模型,音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免

文章学习 | 大模型发展

嬗变:大语言模型带来的人工智能新纪元 | CCCF精选 盖茨说:大语言模型创新的影响力可以与20世纪60年代的微处理器、80年代的个人电脑、90年代的互联网和21世纪初的苹果手机媲美。 大模型的创新 大语言模型是人工智能领域自然语言处理的一部分。在大语言模型出现之前,自然语言处理主要依赖循环神经网络

知识蒸馏、轻量化模型架构、剪枝…几种深度学习模型压缩方法

摘要:模型压缩算法旨在将一个大模型转化为一个精简的小模型。工业界的模型压缩方法有:知识蒸馏、轻量化模型架构、剪枝、量化。 本文分享自华为云社区《深度学习模型压缩方法综述》,作者:嵌入式视觉 。 一,模型压缩技术概述 因为嵌入式设备的算力和内存有限,因此深度学习模型需要经过模型压缩后,方才能部署到嵌入

文章学习|解构大模型之困,打开联邦大模型时代

> 学习转载文章:[解构大模型之困,打开联邦大模型时代](https://mp.weixin.qq.com/s/S4m9CgsGpGS6qhtbT9rBag) ## 引言 自从 ChatGPT 横空出世后,一石激起千层浪,人工智能也正在从感知理解走向生成创造,这是一个关键里程碑。生成式大模型完成了从

PanGu-Coder2:从排序中学习,激发大模型潜力

华为云CodeArts Snap插件也即将上线基于PanGu-Coder2的百亿级代码生成服务,为Snap用户提供更全面的语言支持、更智能的代码生成、更准确的补全建议。

人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总)

人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总) Large Language Model (LLM) 即大规模语言模型,是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,从而可以生成人类可读的文本。 所谓"语言模型",就是只用来处理语言文字(或者符号体系)的 AI