全部分类 数据库 前端 云计算
LLM并行训练6-激活优化

前置知识 Activation 激活指的是一些在fp时计算得到的临时tensor, 会用于bp时的计算. 如果能在fp计算后把临时tensor缓存下来就可以加速bp, 缺点在于激活会占用大量显存. 以一层transformer结构为例分析下各层存在的激活. 简单部分的分析这里忽略. 主要分析下几个不

llm
15
2024-07-20
一文为你深度解析LLaMA2模型架构

本文对比LLaMA1和 LLaMA2模型的技术细节，了解LLaMA2模型的内部核心算法，包括与Transformers架构的差异，以及LLaMA2与国内大模型的异同，进一步加深了大家对LLaMA的理解。

llama2
62
2024-07-04
LLM并行训练4-megascale论文学习

算法优化 并行注意力机制 \[串行版本: y = x + MLP(LayerNorm(x + Attention(LayerNorm(x)))) \]\[并行版本: y = x + MLP(LayerNorm(x)) + Attention(LayerNorm(x)))) \]乍一看确实不是等价的,

llm megascale
0
2024-06-29
LLM并行训练3-数据并行

前置知识 混合精度训练 在参数存储时采取fp32, 开始进行fp/bp时转成fp16运算, 拿到fp16梯度后再转回fp32更新参数. ZeRO对显存占用的估算: 模型状态: Weights(fp16)、grad(fp16) 和 MasterWeights(fp32 模型参数备份)，momentum

llm
0
2024-06-28
更难、更好、更快、更强：LLM Leaderboard v2 现已发布

摘要 评估和比较大语言模型 (LLMs) 是一项艰巨的任务。我们 RLHF 团队在一年前就意识到了这一点，当时他们试图复现和比较多个已发布模型的结果。这几乎是不可能完成的任务：论文或营销发布中的得分缺乏可复现的代码，有时令人怀疑，大多数情况下只是通过优化的提示或评估设置来尽量提升模型表现。因此，他们

llm leaderboard v2
0
2024-06-27
LLM推理 - Nvidia TensorRT-LLM 与 Triton Inference Server

1. LLM部署-TensorRT-LLM与Triton 随着LLM越来越热门，LLM的推理服务也得到越来越多的关注与探索。在推理框架方面，tensorrt-llm是非常主流的开源框架，在Nvidia GPU上提供了多种优化，加速大语言模型的推理。但是，tensorrt-llm仅是一个推理框架，可以

llm nvidia tensorrt triton
0
2024-06-26
LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理 LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人

llm ai
0
2024-06-23
LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等]

LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等] 由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一

llm efficient tuning lora
0
2024-06-17
llm-universe - 1

Smiling & Weeping 难怪春迟迟不来，原来是我把雪一读再读 一、大型语言模型（LLM）理论简介 1 大型语言模型（LLM）的概念 大语言模型（LLM，Large Language Model），也称大型语言模型，是一种旨在理解和生成人类语言的人工智能。 LLM 通常指包含数百亿（或更多

llm universe
0
2024-06-16
解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展

解锁LLMs的“思考”能力：Chain-of-Thought(CoT) 技术推动复杂推理的新发展 1.简介 Chain-of-Thought(CoT)是一种改进的Prompt技术，目的在于提升大模型LLMs在复杂推理任务上的表现，如算术推理（arithmetic reasoning）、常识推理（co

llms chain of thought
0
2024-06-14
LLM应用实战：当图谱问答(KBQA)集成大模型(三)

本文主要是针对KBQA方案基于LLM实现存在的问题进行优化，主要涉及到响应时间提升优化以及多轮对话效果优化，提供了具体的优化方案以及相应的prompt。

llm kbqa
0
2024-06-12
LLVM技术在GaussDB等数据库中的应用

数据库引入LLVM之后，可以为具体的查询生成定制化的机器码，并尽可能地将数据存储在CPU的寄存器中进一步加快计算的速度。

llvm gaussdb
0
2024-06-03
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]

llm vllm xinference fastchat
0
2024-05-31
LLM 大模型学习必知必会系列(十)：基于AgentFabric实现交互式智能体应用,Agent实战

LLM 大模型学习必知必会系列(十)：基于AgentFabric实现交互式智能体应用,Agent实战 0.前言 **Modelscope **是一个交互式智能体应用基于ModelScope-Agent，用于方便地创建针对各种现实应用量身定制智能体，目前已经在生产级别落地。AgentFabric围绕可

llm agentfabric agent
0
2024-05-30
LlamaFS自组织文件管理器

LlamaFS是一个自组织文件管理器。它可以基于文件内容和修改时间等属性自动重命名和组织您的文件。它能让你不把时间花在对文件的复制、粘贴、重命名、拷贝、排序等简单操作上。有幸在Github上看到LlamaFS这个repo，感慨万千。 技术简介 LlamaFS以批处理模式和监视模式两种模式运行。在批处

llamafs
0
2024-05-29
LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型

LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型 1.环境安装 # 设置pip全局镜像 (加速下载) pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ # 安装ms-swift pip

llm
10
2024-05-29
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践

LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践 1.多模态大模型推理 LLM 的推理流程： 多模态的 LLM 的原理： 代码演示：使用 ModelScope NoteBook 完成语言大模型，视觉大模型，音频大模型的推理 环境配置与安装 以下主要演示的模型推理代码可在魔搭社区免

llm
12
2024-05-28
LLM实战：当网页爬虫集成gpt3.5

本文主要是通过Scrapegraph-ai集成gpt3.5实现一个简单的网页爬取并解析的demo应用，其中涉及到gpt3.5免费申请，Scrapegraph-ai底层原理简介，demo应用源码等。

llm gpt3
4
2024-05-20
LLM实战：LLM微调加速神器-Unsloth + Qwen1.5

本文主要是使用unsloth框架针对Qwen1.5的高效微调实验，提供了详细的对比代码以及不同维度的对比分析结果。

llm unsloth qwen1
0
2024-05-16
LLM实战：LLM微调加速神器-Unsloth + LLama3

1. 背景 五一结束后，本qiang~又投入了LLM的技术海洋中，本期将给大家带来LLM微调神器：Unsloth。 正如Unsloth官方的对外宣贯：Easily finetune & train LLMs; Get faster with unsloth。微调训练LLM，可以显著提升速度，其次显存

llm unsloth llama3
0
2024-05-14
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.