[转帖]计算机体系结构-(3)内存系统的挑战和机遇

计算机,体系结构,内存,系统,挑战,机遇 · 浏览次数 : 0

小编点评

## Learning Record: Memory System Design **Introduction:** * This record documents my learning experience during the Computer System Structure course at Sü黎世邦理工大学. * The course focused on addressing memory-related challenges and optimizing memory systems for different applications. **Main Topics:** * **Memory Security and Privacy:** * Memory systems face significant security and privacy concerns due to data interaction issues. * Safe, reliable, and low-latency architectures are crucial for protecting sensitive data. * **Memory Technologies:** * Different memory technologies like DRAM, SRAM, and non-volatile memory are explored. * Challenges and opportunities of memory scaling are discussed. * **Memory Design for Performance:** * Architectures for AI, ML, and healthcare systems require efficient memory systems. * Techniques for improving memory performance like data sharing and cache hierarchy are explored. **Key Learnings:** * **Fundamentally Secure/Reliable/Safe Architectures:** Designing systems with security, reliability, and safety as primary considerations. * **Memory-Centric Architectures:** Architecting around the memory hierarchy for optimal performance and efficiency. * **Low-Latency Architectures:** Techniques for reducing memory access time and improving performance. * **Architecture for AI/ML:** Designing memory systems specifically for AI and machine learning applications. * **Memory + Storage Merging:** Emerging technology that offers potential for capacity and performance improvements. **Challenges and Opportunities:** * Memory systems face challenges like energy consumption, cost, and limited scalability. * Advancements in memory technologies like non-volatile memory and memory-storage merging offer potential solutions. **Conclusion:** * Memory design is a complex and multifaceted field with significant challenges. * Understanding and addressing these challenges is crucial for improving memory system performance and reliability. * Continued research and development in memory technologies will play a vital role in shaping the future of computing systems.

正文

https://zhuanlan.zhihu.com/p/434689028

 

本人lino,即将毕业的研究生,在此记录下学习过程。本次记录跟随是苏黎世邦理工大学的计算机体系结构课程。

我们需要解决许多由内存阻碍的问题,内存中数据交互存在着安全和隐私的问题,因此这对于内存来说也是一个巨大的挑战。针对这些挑战可以遵循如下的设计方向:

1、Fundamentally Secure/Reliable/Safe Architectures

2、Fundamentally Energy-Efficient Architectures

Memory-centric(Data-centric) Architectures

3、Fundamentally Low-Latency and Predictable Architectures

4、Architecture for AI/ML,Genomics,Medicine,Health

主存储器是所有计算系统中一个重要的器件,无论在server,mobile,embedded,desktop以及sensor中。

Main memory system must scale to maintain performance growth and technology scaling benefits。而提升main memory体现在size,technology efficiency,cost 以及 management algorithms。下图是一个Memory System(Onur Mutlu教授自己drew的)

Most of the system is dedicated to storing and moving data。中间的core用来做计算用做计算单元,它们用interconnect相互连接用以搬移数据,它们连接着L2 Cache用以share or privates,L3 Cache也可以storing and moving data,但是它们shared memory controller。可以看见计算用作的运算单元其实占硬件的很小一部分,占大面积的部分的硬件用于数据的movement和存储。当然红色部分中还包括L1 cache,registers。这样大量的memory 可用来share,也会有第一篇文章的memory attacks问题。

目前DRAM and memory controllers are unlikely to satisfy all requirements。Some emmerging non-volatile memory technologier enable new opportunities : memory + storage merging。影响主存的主要的趋势如下:

1、Need for main memory capacity,bandwidth,Qos incresing

2、Main memory energy/power is a key system design concern

3、DRAM technology scaling is ending

下图表明了每个核心的内存容量预计每两年下降30%

bandwidth的提升能力不如Capacity,因为虽然带宽很重要,但是在设计上会优先考虑capacity,而且capacity是很容易提升的一件事情,而延时性能的提升却很少,原因是设计的重点在于容量,并且延时的性能实际上也很难提升,

如下这幅图表明了,processors 大部分时间用来等Memory的数据,其中只有绿色部分是做计算的时间。so it's the Memory ,stupid!

而DRAM在能耗方面也消耗了大量的能量,一个原因是刷新消耗了大量能量,另一个原因是数据传输也消耗了大量能量。Google Workloads:62.7% of the total system energy is spent on data movement。

其次DRAM technology scaling is ending:DRAM will not scale easily below X nm。因为Xnm下数据的保留是个问题,有很多不同的噪音,能量增长,三极管的能量泄露等等原因。但是Scaling has provided many benefits : higher capacity(density),lower cost,lower energy。 DRAM由如下cell组成,并且Capacitor must be large enough for reliable sensing。Access transistor should be large enough for low leakage and high retention time。

Limits of Charge Memory

下面展示了一个Chip density和数据出错率的关系,同时也说明了As Memory Scales,It Becomes Unreliable。所以随着密集度的提高,你相应的errors也会变多。一个简单的硬件故障机制可能操作系统安全的漏洞。

下图有着不同的混合结构,CPU,GPU,硬件加速器,Memories,这样这个设计就带来一个问题,怎么去分配资源给energies agents变得十分困难,既是一个机遇也是一个挑战。

与[转帖]计算机体系结构-(3)内存系统的挑战和机遇相似的内容:

[转帖]计算机体系结构-(3)内存系统的挑战和机遇

https://zhuanlan.zhihu.com/p/434689028 本人lino,即将毕业的研究生,在此记录下学习过程。本次记录跟随是苏黎世邦理工大学的计算机体系结构课程。 我们需要解决许多由内存阻碍的问题,内存中数据交互存在着安全和隐私的问题,因此这对于内存来说也是一个巨大的挑战。针对这

[转帖]计算机体系结构-(4)内存系统的问题解决方向

https://zhuanlan.zhihu.com/p/436875536 本人lino,即将毕业的研究生,在此记录下学习过程。本次记录跟随是苏黎世邦理工大学的计算机体系结构课程。 本文将介绍一些宽泛的Memory的解决方案。首先是Make memory and controllers more

[转帖]计算机体系结构-(1)多核内存竞争问题

https://zhuanlan.zhihu.com/p/432234496 本人lino,即将毕业的研究生,在此记录下学习过程。本次记录跟随是苏黎世邦理工大学的计算机体系结构课程。 Memory Performance Attacks 相比于单核系统,在多核系统里面,我们想要的是: N times

[转帖]计算机体系结构-(1)多核内存竞争问题

https://zhuanlan.zhihu.com/p/432234496 本人lino,即将毕业的研究生,在此记录下学习过程。本次记录跟随是苏黎世邦理工大学的计算机体系结构课程。 Memory Performance Attacks 相比于单核系统,在多核系统里面,我们想要的是: N times

[转帖]计算机体系结构-(2)内存数据保持和刷新

https://zhuanlan.zhihu.com/p/433151653 本人lino,即将毕业的研究生,在此记录下学习过程。本次记录跟随是苏黎世邦理工大学的计算机体系结构课程。 当在memory中存储数据时,数据的保留是个问题,可能会丢失这个数据。因此本次内容围绕着DRAM进行深度探索,了解其

[转帖]计算机网络知识点全面总结,图文并茂,方便大家学习

一、计算机网络概述 1.1 计算机网络的分类 按照网络的作用范围:广域网(WAN)、城域网(MAN)、局域网(LAN); 按照网络使用者:公用网络、专用网络。 1.2 计算机网络的层次结构 TCP/IP四层模型与OSI体系结构对比: 1.3 层次结构设计的基本原则 各层之间是相互独立的;每一层需要有

[转帖]计算机体系结构-重排序缓存ROB

https://zhuanlan.zhihu.com/p/501631371 在现代处理器中,重排序缓存(Reorder Buffer,即ROB)是一个至关重要的概念,一个标准的乱序执行处理器在其多个流水线环节中都会涉及重排序缓存,而Tomasulo算法一文也指出Tomasulo算法的最大缺点可以由

[转帖]计算机体系结构-cache高速缓存

https://zhuanlan.zhihu.com/p/482651908 本文主要介绍了cache的基本常识、基本组成方式、写入方法和替换策略,在基本组成方式和替换策略两节给出了较为详细的硬件实现方法,并不流于空泛,并且补充了SRAM和三态门等与硬件实现息息相关的知识。更高阶的cache优化方法

[转帖]计算机体系结构-分支预测

https://zhuanlan.zhihu.com/p/490749315 影响现代处理器性能的两大关键因素是cache和分支预测,之前的文章介绍过cache的基础知识,现在来介绍分支预测。本文主要介绍分支预测的目的、分支方向的预测方法和分支地址的预测方法,如何检查分支预测是否正确,以及分支预测失

[转帖]计算机体系结构-寄存器重命名

https://zhuanlan.zhihu.com/p/503257611 在 Tomasulo 一文中曾经提到过“寄存器重命名”这个概念。“寄存器重命名”的目的是消除指令间写后写、读后写这两种假数据冒险,在现代处理器中,“寄存器重命名”往往因为其实现的复杂性而被拿出来单独用一个周期(甚至两个周期