Linux 内存管理 pt.2

linux,内存,管理,pt · 浏览次数 : 252

小编点评

**多级页表和大页在 Linux 内存管理中的作用** **多级页表** * 每个进程拥有多个页面表,每个页面表管理多个物理内存页面。 * 每个页面表包含指向页面表项的指针,记录页表项之间的映射关系。 * 多级页表可以减少页表项的数量,减少页面表的存储空间。 **大页** * 每个进程拥有一个页面表,包含所有页表项的指针。 * 大页在用户空间中分配一个固定大小的内存块,称为页面。 * 大页可以减少页表项的数量,减少页面表的存储空间。 **多级页表和大页的比较** | 特征 | 多级页表 | 大页 | |---|---|---| | 存储页面 | 多个页面表 | 一个页面表 | | 页面表项数量 | 多个页面表 | 一个页面表 | | 存储页面空间 | 多个页面表 | 一个页面表 | | 页表项大小 | 4KB | 4KB或更高 | | 页面大小 | 可自定义 | 固定大小 | | 优化页面管理 | 更有效 | 降低内存碎片 | **多级页表的优点** * 减少页表项的数量,降低页表大小。 * 提高性能,减少内存访问时间。 **多级页表的缺点** * 多级页表可能会增加系统开销,因为每个进程需要维护多个页面表。 **大页的优点** * 降低内存访问时间。 * 提高性能,减少内存碎片。 **总结** 多级页表和大页都是 Linux 内存管理中的重要技术,可以根据不同的需求选择使用。多级页表适用于需要对内存进行细粒度的管理的场景,而大页适用于需要降低内存访问时间的场景。

正文

哈喽大家好我是咸鱼,在《Linux 内存管理 pt.1》中我们学习了什么是物理内存、虚拟内存,了解了内存映射、缺页异常等内容

那么今天我们来接着学习 Linux 内存管理中的多级页表和大页

多级页表&大页

在《Linux 内存管理 pt.1》中我们知道了内核为每个进程都维护了一张页表,这张页表用来记录进程虚拟内存与物理内存的映射关系

页表实际上存储在 MMU 当中。MMU(Memory Management Unit,内存管理单元)是CPU内部的一个硬件模块

MMU 负责将虚拟地址转换为物理地址,从而实现进程间内存地址隔离和虚拟内存的实现

 

每个进程都有一张页表,一张页表中有很多页表项(页),每个页表项大小为 4KB

也就是说,每一个内存映射关系,都需要一个 4 KB 或者 4 KB 整数倍的内存空间

小伙伴们有没有想过这样一个疑问:为什么 Linux 默认页大小是 4KB ?

这其实是一个历史遗留问题,后续咸鱼有时间的话会单独写一篇来聊聊

现在我们应该把目光放到另一个点上:一个 32 位系统会为每个进程分配 4G 的虚拟地址空间(虚拟内存),这样的话会导致一张页表里面会有特别多页(一百多万)

而且每个页为一个地址,占用 4 个字节,32 位系统中一张页表有 1048576 张页,那就是一张页表占 1048276 * 4 / 1024 = 4M

也就是说一个进程啥都不干,光是页表大小就占了 4M,如果每张页都有映射关系那也就算了,问题是绝大部分程序仅仅就使用了几张页

先不说这样会导致一个页表里面有大量的页,占用大量的空间。如果想要找到存储了对映关系的那一张页,得从头开始查找,这样会导致查询效率很慢

为了解决页表项过多这个问题,Linux 提供了两种机制,也就是多级页表和大页

多级页表

我们知道,每个进程自身都会维护一个虚拟内存,而每个进程虚拟内存比物理内存要大得多,只有在使用的时候才会被分配到物理内存

多级页表就是把被分配了物理内存的虚拟内存内存分成了一块一块,将原来的映射关系改成了区块索引和区块内的偏移量

多级页表将页表分为多级,每级页表仅用于管理对应的物理内存空间,这样就可以大大减少页表中的项数以及页表大小,从而减轻系统负担

多级页表通常由多个页目录和多个页表组成,每个页表存储了该页的物理地址、读写权限等信息;而页目录项则存储了指向该页表的地址

Linux 采用四级页表来管理内存页,如下图所示

 

多级页表和一级页表的区别

在Linux中,多级页表和一级页表的最大区别在于多级页表只存储有映射关系(即被分配了物理内存)的页,而一级页表存储了所有页表项

用一级页表的话,整个页表都得存放在内存当中,而使用多级页表的话,只有被分配了物理内存的页会存在内存中

举个例子,一级页表就相当于一本厚厚的字典,我们在一级页表中查找存储了映射关系的页就相当于在这本字典中从开始位置查找 而多级页表相当于把这本厚厚的字典拆成了多本字典,如果要查东西,直接去对应的小字典上查找即可,减少了大字典中要从开始处查找的不必要时间,提高了效率

大页

比普通页更大的内存块,常见的大小有 2MB 和 1GB

大页通常用在使用大量内存的进程上,比如 Oracle、DPDK 等

通过上面这些机制,在页表的映射下进程就可以通过虚拟内存来访问物理内存了,那么进程是如何使用被分配了物理内存的虚拟内存呢

我们来看下虚拟内存中的用户空间内存

 

上图所示,用户空间内存被分割成了五个不同的内存段:

  • 只读段:代码和常量等
  • 数据段:全局变量等
  • 堆:动态分配的内存
  • 文件映射段:动态库、共享内存等
  • 栈:局部变量和函数调用的上下文等。栈的大小是固定的,一般是 8 MB

感谢阅读,喜欢作者就动动小手[一键三连],这是我写作最大的动力

 
 

与Linux 内存管理 pt.2相似的内容:

Linux 内存管理 pt.2

哈喽大家好我是咸鱼,在《Linux 内存管理 pt.1》中我们学习了什么是物理内存、虚拟内存,了解了内存映射、缺页异常等内容 那么今天我们来接着学习 Linux 内存管理中的多级页表和大页 多级页表&大页 在《Linux 内存管理 pt.1》中我们知道了内核为每个进程都维护了一张页表,这张页表用来记

Linux 内存管理 pt.3

哈喽大家好,我是咸鱼 在《Linux 内存管理 pt.2》中我们学习了多级页表和大页,我们知道了由于历史遗留的问题,Linux 的页通常为 4KB 这样就会导致一个页表里面会有特别多页,为了解决这个问题,Linux 提供了两种解决方案——多级页表和大页 那么今天继续我们的 Linux 内存管理学习,

Linux 内存管理 pt.1

哈喽大家好,我是咸鱼 今天我们来学习一下 Linux 操作系统核心之一:内存 跟 CPU 一样,内存也是操作系统最核心的功能之一,内存主要用来存储系统和程序的指令、数据、缓存等 关于内存的学习,我会尽量以通俗易懂的方式且分成多篇文章去讲解 那么今天在 pt.1 文章中,我们来学习一下 Linux 中

[转帖]Linux内存管理 -- /proc/{pid}/smaps讲解

https://www.jianshu.com/p/8203457a11cc 本文包括如下三部分: 基本介绍与输出介绍 第一行基础信息讲解 详细信息讲解3.1 Size3.2 Rss3.3 Pss、Shared/Private_Clean/Dirty3.4 Referenced3.5 Anonymo

[转帖]服务器体系(SMP, NUMA, MPP)与共享存储器架构(UMA和NUMA)

《Linux内存管理:转换后备缓冲区(TLB)原理》 《内存管理:Linux Memory Management:MMU、段、分页、PAE、Cache、TLB》 《Memory Management Concepts overview(内存管理基本概念)》 《NUMA - Non Uniform M

[转帖]Linux内存管理——大部分人没有掌握的shmall和shmmax参数

https://zhuanlan.zhihu.com/p/551804053 内核中的 shmall 和 shmmax 参数 SHMMAX= 配置了最大的内存segment的大小 >这个设置的比SGA_MAX_SIZE大比较好。 SHMMIN= 最小的内存segment的大小 SHMMNI= 整个系

[转帖]Linux内存泄露案例分析和内存管理分享

https://zhuanlan.zhihu.com/p/583922188 一、问题 近期我们运维同事接到线上LB(负载均衡)服务内存报警,运维同事反馈说LB集群有部分机器的内存使用率超过80%,有的甚至超过90%,而且内存使用率还再不停的增长。接到内存报警的消息,让整个团队都比较紧张,我们团队负

Linux内存泄露案例分析和内存管理分享

作者:李遵举 一、问题 近期我们运维同事接到线上LB(负载均衡)服务内存报警,运维同事反馈说LB集群有部分机器的内存使用率超过80%,有的甚至超过90%,而且内存使用率还再不停的增长。接到内存报警的消息,让整个团队都比较紧张,我们团队负责的LB服务是零售、物流、科技等业务服务的流量入口,承接上万个服

系统内存管理:虚拟内存、内存分段与分页、页表缓存TLB以及Linux内存管理

虚拟内存的主要作用是提供更大的地址空间,使得每个进程都可以拥有大量的虚拟内存,而不受物理内存大小的限制。此外,虚拟内存还可以提供内存保护和共享的机制,保护每个进程的内存空间不被其他进程非法访问,并允许多个进程共享同一份物理内存数据,提高了系统的资源利用率。虚拟内存的实现方式有分段和分页两种,其中分页机制更为常用和灵活。分页机制将虚拟内存划分为固定大小的页,将每个进程的虚拟地址空间映射到物理内存的页

[转帖]Linux内存–PageCache

https://plantegg.github.io/2020/11/15/Linux%E5%86%85%E5%AD%98--pagecache/ 本系列有如下几篇 Linux 内存问题汇总 Linux内存–PageCache Linux内存–管理和碎片 Linux内存–HugePage Linux