[转帖]Redis如何绑定CPU

redis,如何,绑定,cpu · 浏览次数 : 0

小编点评

**Redis CPU 绑定简介** Redis 6.0 引入 CPU 绑定,可以有效减少线程上下文切换,提高 CPU L1、L2 Cache 命中率。 **CPU 亲和性** CPU 亲和性是一种调度属性,用于将一个进程或线程,「绑定」到一个或一组 CPU 上。设置 CPU 亲和性可以一定程度避免 CPU 上下文切换,提高 CPU L1、L2 Cache 命中率。 **设置 CPU 亲和性** 在 `redis.conf` 中设置 `server_cpulist` 配置项可以设置 CPU 亲和度。例如,以下配置将绑定所有 CPU 到节点 0: ``` server_cpulist 0,1,2,3 ``` **测试 CPU 亲和性** 可以使用 `io-threads&` 配置项启用或禁用 CPU 绑定。例如,以下配置将绑定所有 CPU 到节点 0: ``` io-threads& ``` **结论** CPU 绑定可以有效提高 Redis 的性能。建议将 `server_cpulist` 配置为所有 CPU 的 IP 地址,并设置 `io-threads` 配置项启用 CPU 绑定。

正文

 

https://www.yisu.com/zixun/672271.html

 

这篇文章主要介绍了Redis如何绑定CPU,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

绑定 CPU

Redis 6.0 开始支持绑定 CPU,可以有效减少线程上下文切换。

CPU 亲和性(CPU Affinity)是一种调度属性,它将一个进程或线程,「绑定」到一个或一组 CPU 上。也称为 CPU 绑定。

设置 CPU 亲和性可以一定程度避免 CPU 上下文切换,提高 CPU L1、L2 Cache 命中率。

早期「SMP」架构下,每个 CPU 通过 BUS 总线共享资源。CPU 绑定意义不大。

Redis如何绑定CPU
而在当前主流的「NUMA」架构下,每个 CPU 有自己的本地内存。访问本地内存有更快的速度。而访问其他 CPU 内存会导致较大的延迟。这时,CPU 绑定对系统运行速度的提升有较大的意义。

Redis如何绑定CPU
现实中的 NUMA 架构比上图更复杂,通常会将 CPU 分组,若干个 CPU 分配一组内存,称为 「node」

你可以通过 「numactl -H 」 命令来查看 NUMA 硬件信息。

numactl -H
available: nodes (0-1)node cpus: 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38
node size: 32143 MB
node free: 26681 MB
node cpus: 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39
node size: 32309 MB
node free: 24958 MB
node distances:
node 1
  010 21
  121 10

上图中可以得知该机器有 40 个 CPU,分组为 2 个 node。

node distances 是一个二维矩阵,表示 node 之间 「访问距离」,10 为基准值。上述命令中可以得知,node 自身访问,距离是 10。跨 node 访问,如 node 0 访问 node 1 距离为 21。说明该机器「跨 node 访问速度」比「node 自身访问速度」慢 2.1 倍。

其实,早在 2015 年,有人提出 Redis 需要支持设置 CPU 亲和性,而当时的 Redis 还没有支持 IO 多线程,该提议搁置。

而 Redis 6.0 引入 IO 多线程。同时,也支持了设置 CPU 亲和性

我画了一张 Redis 6.0 线程家族供你参考。

Redis如何绑定CPU

上图可分为 3 个模块

  • 主线程和 IO 线程:负责命令读取、解析、结果返回。命令执行由主线程完成。

  • bio 线程:负责执行耗时的异步任务,如 close fd。

  • 后台进程:fork 子进程来执行耗时的命令。

Redis 支持分别配置上述模块的 CPU 亲和度。你可以在 redis.conf 找到以下配置(该配置需手动开启)。

# IO 线程(包含主线程)绑定到 CPU 0、2、4、6
server_cpulist 0-7:2
# bio 线程绑定到 CPU 1、3
bio_cpulist 1,3
# aof rewrite 后台进程绑定到 CPU 8、9、10、11
aof_rewrite_cpulist 8-11
# bgsave 后台进程绑定到 CPU 1、10、11
bgsave_cpulist 1,10-11

我在上述机器,针对 IO 线程和主线程,进行如下测试:

首先,开启 IO 线程配置

io-threads 4 # 主线程 + 3 个 IO 线程io-threads-do-reads yes # IO 线程开启读和解析命令功能

测试如下三种场景:

  1. 不开启 CPU 绑定配置。

  2. 绑定到不同 node。
    「server_cpulist 0,1,2,3」

  3. 绑定到相同 node。
    「server_cpulist 0,2,4,6」

通过 redis-benchmark 对 get 命令进行基准测试,每种场景执行 3 次。

redis-benchmark -n 5000000 -c 50 -t get --threads 4

结果如下:

1.不开启 CPU 绑定配置

throughput summary: 248818.11 requests per second
throughput summary: 248694.36 requests per second
throughput summary: 249004.00 requests per second

2.绑定不同 node

throughput summary: 248880.03 requests per second
throughput summary: 248447.20 requests per second
throughput summary: 248818.11 requests per second

3.绑定相同 node

throughput summary: 284414.09 requests per second
throughput summary: 284333.25 requests per second
throughput summary: 265252.00 requests per second

根据测试结果,绑定到同一个 node,qps 大约提升 15%

使用绑定 CPU,你需要注意以下几点:

  1. Linux 下,你可以使用 「numactl --hardware」 查看硬件布局,确保支持并开启 NUMA。

  2. 线程要尽可能分布在 「不同的 CPU,相同的 node」,设置 CPU 亲和度才有效。否则会造成频繁上下文切换和远距离内存访问。

  3. 你要熟悉 CPU 架构,做好充分的测试。否则可能适得其反,导致 Redis 性能下降。

与[转帖]Redis如何绑定CPU相似的内容:

[转帖]Redis如何绑定CPU

文章系转载,便于分类和归纳,源文地址:https://www.yisu.com/zixun/672271.html 绑定 CPU Redis 6.0 开始支持绑定 CPU,可以有效减少线程上下文切换。 CPU 亲和性(CPU Affinity)是一种调度属性,它将一个进程或线程,「绑定」到一个或一组

[转帖]Redis如何绑定CPU

https://www.yisu.com/zixun/672271.html 这篇文章主要介绍了Redis如何绑定CPU,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。 绑定 CPU Redis 6.0 开始支持绑定 CPU,可以有效减

[转帖]Redis如何绑定CPU

文章系转载,便于分类和归纳,源文地址:https://www.yisu.com/zixun/672271.html 绑定 CPU Redis 6.0 开始支持绑定 CPU,可以有效减少线程上下文切换。 CPU 亲和性(CPU Affinity)是一种调度属性,它将一个进程或线程,「绑定」到一个或一组

[转帖]redis如何查看key的有效期

redis 查看keys 的有效期:使用TTL命令,示例如下: 127.0.0.1:6379> ttl “shiro_redis_session:b4f107c6-e96c-4a1e-8402-a3be9a619847” (integer) 1194 Redis TTL命令用于获取键到期的剩余时间(

[转帖]Redis的高并发及高可用,到底该如何保证?

https://zhuanlan.zhihu.com/p/404481762 一、redis如何通过读写分享来承载读请求QPS超过10万+ 1、redis高并发跟整个系统的高并发之间的关系 redis,你要搞高并发的话,不可避免,要把底层的缓存搞得很好 mysql,高并发,做到了,那么也是通过一系列

[转帖]Redis:我是如何与客户端进行通信的

江湖上说,天下武功,无坚不摧,唯快不破,这句话简直是为我量身定制。 我是一个Redis服务,最引以为傲的就是我的速度,我的 QPS 能达到10万级别。 在我的手下有数不清的小弟,他们会时不时到我这来存放或者取走一些数据,我管他们叫做客户端,还给他们起了英文名叫 Redis-client。 有时候一个

[转帖]redis脑裂是什么?如何解决

这也是一个常见面试题,对redis集群部署不熟悉的同学,可能压根没听过这个名词qvq 什么是redis脑裂 下面我们解释一下什么是redis脑裂: 关于reids集群会由于网络等原因出现脑裂的情况,所谓的集群脑裂就是,由于redis master节点和redis salve节点和sentinel处于

[转帖]Redis进阶实践之十八 使用管道模式提高Redis查询的速度

https://www.cnblogs.com/PatrickLiu/p/8580301.html 一、引言 学习redis 也有一段时间了,该接触的也差不多了。后来有一天,以前的同事问我,如何向redis中批量的增加数据,肯定是大批量的,为了这主题,我又重新找起了解决方案。目前的解决方案大都是从官

[转帖]Redis进阶实践之十八 使用管道模式提高Redis查询的速度

https://www.cnblogs.com/PatrickLiu/p/8580301.html 一、引言 学习redis 也有一段时间了,该接触的也差不多了。后来有一天,以前的同事问我,如何向redis中批量的增加数据,肯定是大批量的,为了这主题,我又重新找起了解决方案。目前的解决方案大都是从官

[转帖]redis集群报错CROSSSLOT Keys in request don‘t hash to the same slot

先上结果: $redis->sDiffStore('live_room:robots:data:' . $info['id'], 'user_info:robots_list', ''); 上述代码执行后redis抛出一个异常。来看redis源码是如何抛出这个异常的(附redis源码地址:redis