随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。 一.lmdeploy推理部署 lmdeploy由上海人工智能实验室开发，推理使用C++/CUDA，对外提供pyth
本文作者：李杰 TF计算图从逻辑层来讲，由op与tensor构成。op是项点代表计算单元，tensor是边代表op之间流动的数据内容，两者配合以数据流图的形式来表达计算图。那么op对应的物理层实现是什么？TF中有哪些op，以及各自的适用场景是什么？op到底是如何运行的？接下来让我们一起探索和回答这些
redis，对于一个java开发工程师来讲，其实算不得什么复杂新奇的技术，但可能也很少人去深入了解学习它的底层的一些东西。下面将通过对内存统计、内存划分、存储细节、对象类型&内部编码这四个模块来学习学习redis的内存模型，手字笔录，潜心修行。
随着互联网的不断发展，各类技术工程对cpu算力的需求持续飙高，这不仅带来了技术上的压力，对电力能耗的需求也越来越大。为在有限的电力内达到最佳的效果，京东云自研服务器围绕三大主轴，提升性能效率、降低整体成本，让地球环境可以永续经营。
前言 瑞数就不过多介绍了，算是国内 2 线产品中的天花板了。4 代其实难度不高，但要弄出来 确实挺费时间和耐心的。今天就简单来讲讲如何用补环境轻松的过瑞数。 本文首发链接为: https://mp.weixin.qq.com/s/WnScMVv3kmdlrFLjr-m3Pg 前言 本文章中所有内容仅
国庆放假倒计时，无心恋战，分享点儿东西，也算做点儿贡献。 起因是，我老婆的公司最近技术上在搞“区块链溯源”，ppt里言必称无法篡改，客观公正，可确保真实安全。她表示听不懂，于是问我 “到底什么是区块链？”。 “自己查啊”。 “查了，看不懂。”…… 按说区块链从比特币火起来之后，现在已经快10年了，火
从一个简单的实例出发，带你体验Ascend C算子开发的基本流程。
学过 Java、C# 或者其他托管语言(managed languages)的同学，回过头来看 C++ 的时候，第一反应就是 C++ 没有自动垃圾回收器(GC)，而不能充分利用的资源被称为垃圾。
前言 前段时间花了一些精力尝试和摸索主题接入 Google Ads 的问题，算是阶段性成功了吧，这次简单分享一下，如果有缘看到这篇文章，应该会有些启发。 1. 展示效果 上篇文章说到，前两天我在我的两款主题中内置了 Google Ads 广告位，并且我自己的网站也启用了，下图是这两天的成果： 确实有
这篇文章主要介绍了mindspore深度学习框架中基于InsertGradientOf算子的进阶梯度操作。InsertGradientOf算子的功能跟此前介绍过的bprop功能有些类似，也是自定义梯度，但bprop更倾向于计算梯度，而InsertGradientOf算子更倾向于修改梯度，这里介绍了一...
对应于其强大的能力，大语言模型 (LLM) 需要强大的算力支撑，而个人计算机上很难满足这一需求。因此，我们别无选择，只能将它们部署至由本地或云端托管的性能强大的定制 AI 服务器上。 为何需要将 LLM 推理本地化 如果我们可以在典配个人计算机上运行最先进的开源 LLM 会如何？好处简直太多了: 增
https://www.cnblogs.com/alongdidi/p/bash_loop_construct.html 本篇中涉及到算术运算，使用了$[]这种我未在官方手册中见到的用法，但是确实可用的，在此前的博文《Bash脚本编程学习笔记03：算术运算》中我有说明不要使用，不过自己忘记了。大家还
http://me.52fhy.com/lua-book/chapter3.html Lua支持下列主要的运算符： 算术运算符 关系运算符 逻辑运算符 赋值运算符 还支持..、#特殊运算符。其中赋值运算符仅支持=，不支持C语言的+=、++等运算符。 算术运算符 + 加法 - 减法或者负号 * 乘法
背景 想研究一下国产和不同架构,不通型号CPU的算力 也作为后续生产交付的基线准备. 学习各种不同工具进行简要测试. 安装 git clone https://github.com/ColinIanKing/stress-ng.git cd stress-ng make 然后就会在当前目录创建一个可
摘要：昇腾AI提供了全栈技术和产品，构筑人工智能的算力基座，赋能上层应用 本文分享自华为云社区《昇腾CANN：为你开启机器人开发的Buff 加成》，作者：华为云社区精选 。 昇腾AI基础软硬件平台 人类在最近1万多年的发展中，经历了农耕时代、蒸汽机时代、电力时代、互联网时代，21世纪，进入了人工智能
摘要：本文主要讲解常见的图像锐化和边缘检测方法，即Roberts算子和Prewitt算子。 本文分享自华为云社区《[Python从零到壹] 五十七.图像增强及运算篇之图像锐化Roberts、Prewitt算子实现边缘检测》，作者： eastmount。 一.图像锐化 由于收集图像数据的器件或传输图像
UCS（On-Premises）旨在将云上的服务能力延伸至各行业的客户的本地数据中心，结合volcano的AI作业管理及智能调度能力、xGPU的GPU虚拟化能力，帮助用户快速在IDC构建云原生的AI基础设施，更细粒度的使用GPU资源，让用户聚焦AI的业务开发，最大限度释放AI大模型算力潜能。
作者：来自 vivo 互联网存储研发团队-Guo Xiang 本文介绍了TiDB中最基本的PointGet算子在存储层TiKV中的执行流程。 一、背景介绍 TiDB是一款具有HTAP能力(同时支持在线事务处理与在线分析处理 )的融合型分布式数据库产品，具备水平扩容或者缩容等重要特性。TiDB 采用多
前言 exFAT是微软2006年推出的一种文件系统，距今已快二十年，相比于FAT16和FAT32，exFAT还是算年轻。exFAT一直是微软的一个专用文件系统，直到2019年微软发布它的规范，目前微软拥有exFAT多个元素的专利，如果产品上使用exFAT，需要微软授权，否则有可能侵权。 exFAT被
本文主要是想给希望开始写开源项目的同学们一些开源项目维护的实操建议，也算是给自己梳理一下做一个开源项目需要注意的事项。
