[转帖]存算一体芯片技术及其最新发展趋势

一体,芯片,技术,及其,最新,发展趋势 · 浏览次数 : 0

小编点评

## 01存算一体技术的原理及优势 **算力发展速度远超存储器** * 存算一体技术比冯诺依曼架构最大的优势,表现为超高的算力和能效比,是比冯氏架构更适合AI计算的架构。 **存算技术优势** * 减少不必要的数据搬运(降低能耗至1/10~1/100)直接存储单元参与逻辑计算提升算力(等效于在面积不变的情况下规模化增加计算核心数)节约大量D触发器占用的芯片面积02 * 提高AI计算效率,降低成本 **存算一体技术的分类** * 可编程存算:编译器可根据硬件需求进行优化,提高性能 * 可重构存算:芯片架构可根据硬件需求进行修改,提高性能 **04存算一体中存储单元的对比** | 特性 | DRAM | SRAM | |---|---|---| | 存储密度 | 高 | 低 | | 延迟 | 低 | 高 | | 可用性 | 高 | 低 | | 精度 | 高 | 低 | | 支持算法 | 多 | 单 | **05存算技术的发展趋势** * 提升计算精度模拟存内计算精度受到信噪比的影响,精度上限在4-8 bit左右,无法实现浮点计算 * 多算法适配:目前大部分存算芯片还是针对特定算法的DSA,当客户算法需求改变时,就很难做到算法的迁移和适配 * 存算/数据流编译器的适配存算一体芯片产业化处于起步阶段,目前仍面临编译器的支持不足的问题

正文

https://zhuanlan.zhihu.com/p/450985519

 

■作者:陈巍 博士 资深芯片专家,人工智能算法-芯片协同设计专家,擅长芯片架构与存算一体。国内首个可重构存算处理器架构(已在互联网大厂完成原型内测),首个医疗领域专用AI处理器(已落地应用),首个RISC-V/x86/ARM平台兼容的AI加速编译器(与阿里平头哥/芯来合作),国内首个3D NAND芯片架构与设计团队建立(与三星对标),国内首个嵌入式闪存编译器(与台积电对标),国内首个90nm闪存芯片架构(与Cypress/SST对标)

存算一体的优势场景

随着AI计算、自动驾驶和元宇宙进入行业快车道,全社会巨大的算力需求正在催生新的计算架构。存算一体架构比冯诺依曼架构最大的优势,表现为超高的算力和能效比,是比冯氏架构更适合AI计算的架构。存算技术也被AspenCore预测为2022年的全球半导体行业十大技术趋势。

目前存算技术正处在从学术到工业产品的跃迁的关键时期。包括阿里达摩院最近刚发布的基于SeDRAM的近存计算芯片,就充分展示了存算技术(第一代仅是近存计算)在数据中心场景的算力和能效实力。

01

存算一体技术的原理及优势

 

算力发展速度远超存储器(来源:amirgholami@github)

 

存算一体技术(Computing in Memory,CIM)概念的形成,最早可以追溯到上个世纪90年代。随着近几年云计算和人工智能(AI)应用的发展,面对计算中心的数据洪流,数据搬运慢、搬运能耗大等问题成为了计算的关键瓶颈。从处理单元外的存储器提取数据,搬运时间往往是运算时间的成百上千倍,整个过程的无用能耗大概在60%-90%之间,能效非常低,“存储墙”成为了数据计算应用的一大障碍。深度学习加速的最大挑战就是数据在计算单元和存储单元之间频繁的移动。

 

数据搬运占据AI计算的主要能耗

 

存算一体可理解为在存储器中嵌入计算能力,以新的运算架构进行二维和三维矩阵乘法/加法运算,而不是在传统逻辑运算单元或工艺上优化。这样能从本质上消除不必要的数据搬移的延迟和功耗,成百上千倍的提高AI计算效率,降低成本,打破存储墙。

除了用于AI计算外,存算技术也可用于感存算一体芯片和类脑芯片,代表了未来主流的大数据计算芯片架构。

存算一体技术的核心优势包括:

  1. 减少不必要的数据搬运(降低能耗至1/10~1/100)
  2. 直接存储单元参与逻辑计算提升算力(等效于在面积不变的情况下规模化增加计算核心数)
  3. 节约大量D触发器占用的芯片面积

02

存算一体技术的分类

 

存算技术的分类/演进

 

目前存算技术在按照以下路线在演进:

• 查存计算(Processing With Memory):GPU中对于复杂函数就采用了这种计算方法,是早已落地多年的技术。通过在存储芯片内部查表来完成计算操作。

• 近存计算(Computing Near Memory):典型代表是AMD的Zen系列CPU,技术方案已经比较成熟。计算操作由位于存储区域外部的独立计算芯片/模块完成。这种架构设计的代际设计成本较低,适合传统架构芯片转入。将HBM内存(包括三星的HBM-PIM)与计算模组(裸Die)封装在一起的芯片也属于这一类。

• 存内计算(Computing In Memory):典型代表是Mythic、千芯、闪亿、知存、九天睿芯等。计算操作由位于存储芯片/区域内部的独立计算单元完成,存储和计算可以是模拟的也可以是数字的。这种路线一般用于算法固定的场景算法计算。

• 存内逻辑(Logic In Memory):这是较新的存算架构,典型代表包括TSMC(在2021 ISSCC发表)和千芯科技。这种架构数据传输路径最短,同时能满足大模型的计算精度要求。通过在内部存储中添加计算逻辑,直接在内部存储执行数据计算。

 

PIM-HBM芯片架构

03

存内计算芯片基本架构

 

存算一体芯片基本架构

 

人工智能/深度学习计算中有大量的矩阵乘法计算,其本质是乘累加(Multiply-Accumulate,MAC)运算。存算将计算直接映射到存储结构中,具有最高的能效比和最小的延迟。

如存算一体芯片基本架构图所示,神经网络模型的权重可以映射为子阵列中存储单元的电导率,而输入特征图(Feature map)作为行电压并行加载(图中WL方向),然后以模拟方式进行乘法(即输入电压乘以权重电导),并使用列上的电流求和(图中BL方向)来生成输出向量。

CIM 可以支持多位权重/输入/输出精度。根据存储单元的精度,一个多位权重可能被分成多个存储单元。例如,如果每个单元使用 2 位,则 8 位权重可以由 4 个存储单元表示。

ADC(模数转换器)/SA(灵敏放大器) 之后的输出可经过“移位+加法”以重建跨多列的乘法/加法,以提升计算精度。

04

存算一体中存储单元的对比

 

目前可用于存算一体的成熟工艺存储器有DRAM 、SRAM、Flash。

DRAM成本低,容量大,但是可用的eDRAM IP核工艺节点不先进,读取延迟(Latency)也大,且需要定期刷新数据。Flash则属于非易失性存储器件,具有低成本优势,一般适合小算力场景。SRAM在速度方面具有极大优势,有几乎最高的能效比,容量密度略小,在精度增强后可以保证较高精度,一般适用于云计算等大算力场景。

可用于存算一体新型存储器有PCRAM、MRAM、RRAM和FRAM等。

目前学术界比较关注各种忆阻器(RRAM)在神经网络计算中的引入。RRAM使用电阻调制来实现数据存储,读出电流信号而非传统的电荷信号,可以获得较好的线性电阻特性。但目前RRAM工艺良率爬坡还在进行中,而且依然需要面对非易失存储器固有的可靠性问题,因此目前还主要用于端侧小算力和边缘AI计算。

 

05

存算技术的发展趋势

1)提升计算精度

模拟存内计算精度受到信噪比的影响,精度上限在4-8 bit左右,只能做定点数计算,难以实现浮点计算,并不适用于需要高精度的云计算场景和训练场景,适用于对能效比有较高要求而对于精确度有一定容忍的场景。

数字存算技术则不受信噪比的影响,精度可以达到32bit甚至更高,且可支持浮点计算,是云计算场景存算的发展方向。

2)多算法适配

目前大部分存算芯片还是针对特定算法的DSA(Domain Specific Accelerator),因此当客户算法需求改变时,就很难做到算法的迁移和适配。这使得一款存算芯片可能只能适配优先的细分市场,难以形成较大的销量。特别是在端侧市场,这一现象明显。

为了解决多算法适配的问题,目前产业界开始使用可编程或可重构的技术来扩展存算架构的支持能力。其中可重构存算的能效比高于可编程存算的能效比,具有更强的发展潜力。

3)存算/数据流编译器的适配

存算一体芯片产业化处于起步阶段,目前仍面临编译器的支持不足的问题。

目前大部分存算芯片采取DSA的方式进行落地,以规避通用编译器的适配问题。

但随着存算技术的高速发展和落地,对应的编译器技术也在快速进步。

存算技术在海量数据计算场景中拥有天然的优势,将在云计算、自动驾驶、元宇宙等场景拥有广阔的发展空间。

目前存算技术正处在从学术领域到工业产品落地的关键时期,随着存算技术的不断进步和应用场景的不断催生,预计存算一体技术将成为AI计算领域的主要架构。

与[转帖]存算一体芯片技术及其最新发展趋势相似的内容:

[转帖]存算一体芯片技术及其最新发展趋势

https://zhuanlan.zhihu.com/p/450985519 ■作者:陈巍 博士 资深芯片专家,人工智能算法-芯片协同设计专家,擅长芯片架构与存算一体。国内首个可重构存算处理器架构(已在互联网大厂完成原型内测),首个医疗领域专用AI处理器(已落地应用),首个RISC-V/x86/AR

[转帖]存算一体技术是什么?发展史、优势、应用方向、主要介质(收录于存算一体芯片赛道投资融资分析/20220517更新)

https://zhuanlan.zhihu.com/p/480612865 本文深入浅出的介绍存算一体技术的概念、发展历史、技术优势、应用方向、主要介质、技术比对等。 作者 ■ 陈巍 博士 资深芯片专家,人工智能算法-芯片协同设计专家,擅长芯片架构与存算一体。国内首个可重构存算处理器架构(已在互联

[转帖]三星研发出首个基于存算一体技术的GPU大型计算系统 (收录于存算一体芯片赛道投资融资分析)

https://zhuanlan.zhihu.com/p/591850021 陈巍谈芯:产业巨头已经打通存算一体技术的落地通道,存算一体技术加快应用部署。与未使用HBM-PIM(HBM-PIM GPU v.s. HBM GPU)相比,仅用20nm工艺就使7nm集群计算性能提升了2.5倍。这个思路也是

[转帖]阿里达摩院最新存算芯片技术解读

https://zhuanlan.zhihu.com/p/448261354 陈巍谈芯: 12月3日,阿里达摩院成功研发新型架构芯片,已经被证明能够在阿里推荐系统中发挥极大的应用价值,并受到技术圈的普遍关注。 据悉这颗芯片与数据中心的推荐系统对于带宽/存储的需求完美匹配,大幅提升带宽的同时还实现了超

[转帖]阿里达摩院最新存算芯片技术解读

https://zhuanlan.zhihu.com/p/448261354 12月3日,阿里达摩院成功研发新型架构芯片,已经被证明能够在阿里推荐系统中发挥极大的应用价值,并受到技术圈的普遍关注。 据悉这颗芯片与数据中心的推荐系统对于带宽/存储的需求完美匹配,大幅提升带宽的同时还实现了超低功耗,充分

[转帖]【JVM】JVM源码分析之Metaspace解密

概述 metaspace,顾名思义,元数据空间,专门用来存元数据的,它是jdk8里特有的数据结构用来替代perm,这块空间很有自己的特点,前段时间公司这块的问题太多了,主要是因为升级了中间件所致,看到大家讨论来讨论去,看得出很多人对metaspace还是模棱两可,不是很了解它,因此我觉得有必要写篇文

[转帖]9.2 TiFlash 架构与原理

9.2 TiFlash 架构与原理 相比于行存,TiFlash 根据强 Schema 按列式存储结构化数据,借助 ClickHouse 的向量化计算引擎,带来读取和计算双重性能优势。相较于普通列存,TiFlash 则具有实时更新、分布式自动扩展、SI(Snapshot Isolation)隔离级别读

[转帖]TiFlash 简介

overview TiFlash 是 TiDB HTAP 形态的关键组件,它是 TiKV 的列存扩展,在提供了良好的隔离性的同时,也兼顾了强一致性。列存副本通过 Raft Learner 协议异步复制,但是在读取的时候通过 Raft 校对索引配合 MVCC 的方式获得 Snapshot Isolat

[转帖]数据中心NVMe SSD进入PCle5.0阶段

http://blog.itpub.net/31545803/viewspace-2928567/ 当PCle4.0产品正战得酣畅淋漓,属于下一个时代的PCle5.0悄然走来。从去年下半年开始,除了一些国际大厂纷纷推出新品,以宝存科技为代表的国内SSD厂商也在紧跟趋势,部署下一个赛道。 SSD固态硬

[转帖]Redis系列(十七)、Redis中的内存淘汰策略和过期删除策略

我们知道Redis是分布式内存数据库,基于内存运行,可是有没有想过比较好的服务器内存也不过几百G,能存多少数据呢,当内存占用满了之后该怎么办呢?Redis的内存是否可以设置限制? 过期的key是怎么从内存中删除的?不要怕,本篇我们一起来看一下Redis的内存淘汰策略是如何释放内存的,以及过期的key