[转帖]系统明明有很多内存,却无法分配出一片大块内存?(一文搞定!)

系统,明明,很多,内存,无法,分配,一片,大块,一文,搞定 · 浏览次数 : 0

小编点评

**什么是内存碎片?** 内存碎片是指在内存中出现的小片空白区域,这些空白区域通常是无法被程序使用的。内存碎片会随着时间的推移逐渐增长,最终导致系统内存可用率下降。 **早期内存碎片产生的历史?** 在Linux早期的版本中,内存碎片出现之前,操作系统使用了动态分区法来管理内存。动态分区法使用一系列大小为的内存块,将它们分配给进程。当进程使用完一块内存块时,操作系统会将该块从内存中移除并分配给其他进程。 **内存碎片解决方案** 为了解决内存碎片问题,Linux引入了伙伴系统和slab等机制: * **伙伴系统**:伙伴系统是一个用于解决外碎片问题的机制。当系统有多块内存时,伙伴系统会为它们分配内存。当一个进程需要使用一个内存块时,伙伴系统会从其他内存块中找到一个空闲块,并将该块分配给进程。 * **slab**:slab是另一种用于解决内碎片问题的机制。slab是一个指向内存片集合的链表。当系统需要使用一个内存块时,slab会从内存片集合中找到一个空闲块。该块会被分配给进程。 **结论** 内存碎片是一种在内存中出现的小片空白区域,这些空白区域通常是无法被程序使用的。通过使用伙伴系统和slab等机制,Linux可以有效地解决内存碎片问题。

正文

https://zhuanlan.zhihu.com/p/614898901

 

什么是内存碎片?

内存碎片在Linux很早的时候就已经出现了,了解早期内存碎片产生的历史,有利于我们对它的理解。

假设现在有一块32MB大小的内存,一开始操作系统使用了最小的一块——4MB大小,剩余的内存要留给4个进程使用,如图(a)所示。

 

 

进程A使用了操作系统往上的10MB内存,进程B使用了进程A往上的6MB内存,进程C使用了进程B往上的8MB内存,如图(b)所示,:

 

 

进程D需要5MB内存,所以剩余的内存不足以装载进程D,这个内存末位就形成了第一个空洞(内存碎片) 。假设某个时刻,操作系统需要运行进程D,因为系统中没有足够的内存,所以需要选择一个进程来换出,为进程D腾出足够的空间。假设操作系统选择进程B来换出,这样进程D就装载到了原来进程B的地址空间里,于是产生了第二个空洞 ,如图(c)所示:

 

 

假设操作系统某个时刻需要运行进程B,也需要选择一个进程来换出,假设进程A被换出,那么操作系统中又产生了第三个空洞 ,如图(d)所示:

 

 

随着时间的推移,内存空洞会越来越多,内存的利用率也随之下降,这些内存空洞就是我们常说的内存碎片 。

 

 

看到这,你已经知道了什么是内存碎片,同时还了解了一种内存管理机制——动态分区法。上述举例其实就是动态分区法 ,操作系统早期使用动态分区法来管理内存。

怎么解决内存碎片化问题?

思路其实很简单:把多个小块内存拼成一个大块内存 。

早期使用动态分区法的操作系统,为了解决碎片化问题,就是动态地移动进程,使得进程占用的空间是连续的,并且所有的空闲空间也是连续 ,这样就把多个小内存块拼起来了。但是缺点也非常明显,进程的迁移需要耗费大量的时间 。

内碎片和外碎片

内存碎片分两种:内碎片 和外碎片

内碎片 :分配给程序的内存但未被利用的部分

外碎片 :系统无法利用的小内存块(如上述动态分区法产生的碎片)

如今操作系统使用分页或分段机制来管理内存,但仍不可避免地会产生一些内存碎片。

为了解决内碎片和外碎片问题,Linux引入了两个东西:伙伴系统 和slab 。

伙伴系统用于解决外碎片问题,slab用于解决内碎片问题。

伙伴系统和slab也是内存管理中比较核心的内容,有兴趣的可以去研究一下。

总结

所以,当系统有很多内存,但无法分配出一片大块内存时,就是因为产生了很多内存碎片,导致系统中有很多不连续的小块内存,表面上看系统空闲内存很多,但实际都是一些零散的内存.

与[转帖]系统明明有很多内存,却无法分配出一片大块内存?(一文搞定!)相似的内容:

[转帖]系统明明有很多内存,却无法分配出一片大块内存?(一文搞定!)

https://zhuanlan.zhihu.com/p/614898901 什么是内存碎片? 内存碎片在Linux很早的时候就已经出现了,了解早期内存碎片产生的历史,有利于我们对它的理解。 假设现在有一块32MB大小的内存,一开始操作系统使用了最小的一块——4MB大小,剩余的内存要留给4个进程使用

[转帖]telnet命令使用详解

https://www.cnblogs.com/PatrickLiu/p/8556762.html telnet命令用于登录远程主机,对远程主机进行管理。telnet因为采用明文传送报文,安全性不好,很多Linux服务器都不开放telnet服务,而改用更安全的ssh方式了。但仍然有很多别的系统可能采

[转帖]煮饺子与 docker、kubernetes 之间的关系

前言:云原生的概念最近非常火爆,企业落地云原生的愿望也越发强烈。看过很多关于云原生的文章,要么云山雾罩,要么曲高和寡。 所以笔者就有了写《大话云原生》系列文章的想法,期望用最通俗、简单的语言说明白什么是云原生。那么,开始吧,这是第一篇! 这真的是一篇讲架构技术的文章,不是小说,不是口水!建议您看下去

[转帖]高并发系统中的尾延迟Tail Latency

开发和运维高并发系统的工程师可能都有过类似经验,明明系统已经调优完毕,该异步的异步,该减少互斥的地方引入无锁,该减少IO的地方更换引擎或者硬件,该调节内核的调节相应参数,然而,如果在系统中引入实时监控,总会有少量响应的延迟高于均值,我们把这些响应称为尾延迟(Tail Latency)。对于大规模分布

[转帖]Linux平台shell脚本输入密码,不显示明文

需求:shell脚本中输入密码,要求不显示明文,需要将其转换为“*”星号,或者不显示 实现方案:有两种实现方案,一是通过stty命令来实现,二是直接使用read来实现 方案一:使用stty来实现 使用stty -echo可以实现不显示密码,就像登录Linux系统输入密码时一样,stty的代码如下:

[转帖]性能分析之TCP全连接队列占满问题分析及优化过程

https://www.cnblogs.com/wx170119/p/12068005.html 前言 在对一个挡板系统进行测试时,遇到一个由于TCP全连接队列被占满而影响系统性能的问题,这里记录下如何进行分析及解决的。 理解下TCP建立连接过程与队列 从图中明显可以看出建立 TCP 连接的时候,有

[转帖]性能分析之TCP全连接队列占满问题分析及优化过程(转载)

https://www.cnblogs.com/wx170119/p/12068005.html 前言 在对一个挡板系统进行测试时,遇到一个由于TCP全连接队列被占满而影响系统性能的问题,这里记录下如何进行分析及解决的。 理解下TCP建立连接过程与队列 从图中明显可以看出建立 TCP 连接的时候,有

[转帖]QPS、TPS、RT、并发数、吞吐量理解和性能优化深入思考

https://baijiahao.baidu.com/s?id=1675704570461446033&wfr=spider&for=pc 吞吐量 在了解qps、tps、rt、并发数之前,首先我们应该明确一个系统的吞吐量到底代表什么含义,一般来说,系统吞吐量指的是系统的抗压、负载能力,代表一个系统

[转帖]linux后台开发必知的io优化知识总结

系统学习 IO性能对于一个系统的影响是至关重要的。一个系统经过多项优化以后,瓶颈往往落在数据库;而数据库经过多种优化以后,瓶颈最终会落到IO。而IO性能的发展,明显落后于CPU的发展。Memchached也好,NoSql也好,这些流行技术的背后都在直接或者间接地回避IO瓶颈,从而提高系统性能。 IO

[转帖]linux后台开发必知的io优化知识总结

系统学习 IO性能对于一个系统的影响是至关重要的。一个系统经过多项优化以后,瓶颈往往落在数据库;而数据库经过多种优化以后,瓶颈最终会落到IO。而IO性能的发展,明显落后于CPU的发展。Memchached也好,NoSql也好,这些流行技术的背后都在直接或者间接地回避IO瓶颈,从而提高系统性能。 IO