[转帖]Redis学习六(Redis 阻塞的原因及其排查方向).

redis,学习,阻塞,原因,及其,排查,方向 · 浏览次数 : 0

小编点评

## Redis 慢查询和性能瓶颈分析 **一、慢查询** * Redis 单线程,大量慢查询可能会导致 Redis-server 阻塞,影响整个系统的性能。 * 可以通过 `slowlog get n` 获取慢日志,查看详情情况。 * 降低系统使用 swap 优先级,降低 fork 操作执行频率等方法可以缓解性能瓶颈。 **二、bigkey 大对象** * bigkey 大对象可能会导致内存空间不均匀,造成 Redis 性能下降。 * 解决方案:保证机器充足的可用内存,防止极端情况下 redis 内存不可控的增长,降低系统使用 swap 优先级。 **三、swap** * 由于 Redis 的数据放在内存中,内存使用率超过可用最大内存时,会进行内存和 swap 空间交换。 * 如果 swap 空间不足,会影响 Redis 的性能。 **四、fork 子进程** * fork 操作是重量级操作,会复制父进程的空间内存表。 * 复制效率低,实际会小很多,10G 大概只需要 20MB。 **五、AOF 刷盘阻塞** * AOF 刷盘一般每秒一次,硬盘压力过大时,fsync 需要等待写入完成。 * 查看 redis 日志或 info persistence 统计中的 `aof_delayed_fsync` 指标。 **六、Redis 输入缓冲区阻塞** * 当大量的 key 进入输入缓冲区且无法被消费时,即可造成 redis 阻塞。 * 通过 `client list` 命令可定位发生阻塞的客户端。 **七、Redis 输出缓冲区阻塞** * 当输出缓冲区满了时,无法处理新的连接,造成阻塞。 * 通过 `client list` 命令可定位发生阻塞的客户端。 **八、网络问题** * 网络问题如网络闪断、带宽耗尽等会导致连接拒绝或溢出等情况。 * 监控网络延迟,及时发现并处理网络问题。

正文

https://www.cnblogs.com/jmcui/p/13926397.html

 

一、慢查询

因为 Redis 是单线程的,大量的慢查询可能会导致 redis-server 阻塞,可以通过 slowlog get n 获取慢日志,查看详情情况。

二、bigkey 大对象

bigkey 大对象可能会导致的问题包括:

  • 内存空间不均匀(平衡),例如在 Redis Cluster 中,bigkey 会造成节点的内存空间使用不均匀。
  • 超时阻塞:由于Redis 单线程的特性,操作 bigkey 比较耗时,也就意味着阻塞 Redis 的可能性增大。
  • 网络阻塞:每次获取 bigkey 产生的网络流量较大,假设一个 bigkey 为 1MB,每次访问量为 1000,那么每秒产生 1000MB 的流量,对于普通的千兆网卡(按照字节算是128MB/s)的服务器简直是灭顶之灾。

bigkey 的存在并不是完全致命的,如果这个 bigkey 存在但是几乎不被访问,那么只有内存空间不均匀的问题存在,相对于另外两个问题没有那么重要紧急,但是如果 bigkey 是一个热点key(频繁访问),那么其带来的危害不可想象,所以在实际开发和运维时一定要密切关注 bigkey 的存在。

可以通过 redis-cli -h {ip} -p {port} bigkeys 发现大对象。

三、swap

因为 Redis 的数据放在内存中,所以存放数据量的多少取决于内存的多少。

如果一个 Redis 实例的内存使用率超过可用最大内存(used_memory > 可用最大内存),那么操作系统开始进行内存和 swap 空间交换,把内存中旧的或不再使用的内容写入硬盘上(硬盘上的这块空间叫 Swap 分区),以便腾出新的物理内存给新页使用。

在硬盘上进行读写操作要比内存上慢了近5个数量级 —— 内存是 0.1μs 单位、硬盘是 10ms。如果 Redis 进程上发生内存交换,那么 Redis 和 依赖 Redis 上数据的应用会受到严重的性能影响。

查看 used_memory 指标可知道 Redis 正在使用的内存情况,识别 Redis 内存交换的检查方法:

  1. 识别 redis 进程号

redis-cli info server | grep process_id

  1. 根据进程号查询内存交换信息

cat /proc/{process_id}/smaps | grep Swap

如果交换量都是 0KB 或者个别 4KB,是正常现象。

预防内存交换:

  1. 保证机器充足的可用内存;
  2. 确保所有 redis 示例设置最大可用内存(maxmemory),防止极端情况下 redis 内存不可控的增长;
  3. 降低系统使用 swap 优先级,如 echo 10>/proc/sys/vm/swappiness。

四、fork 子进程

在 RDB 生成和 AOF 重写时,会 fork 一个子进程完成持久化工作,当 fork 操作执行太过耗时也会造成阻塞,阻塞原因是该操作会复制父进程的空间内存表,即 fork 操作耗时跟内存量(数据集)关系较大。

fork 操作是重量级操作,会复制父进程的空间内存表(理论上需要复制与父进程同样的内存,但是 linux 有写时复制机制,父子进程贡献相同的物理内存页,实际会小很多,10G 大概只需要 20MB)。

fork 耗时应该在 20ms/GB;应该严格控制每个实例可使用的最大内存 10GB 以内(复制空间内存表);降低 fork 操作执行频率,适当放宽 AOF 重写触发时机。

使用 info stats 命令获取 lastest_fork_usec 指标,表示 redis 最近一次 fork 操作耗时。

五、AOF 刷盘阻塞

开启 AOF,文件刷盘一般每秒一次,硬盘压力过大时,fsync 需要等待写入完成。

查看 redis 日志或 info persistence 统计中的 aof_delayed_fsync 指标。

六、Redis 输入缓冲区可能导致的阻塞

输入缓冲区:redis 为每个客户端分配了输入缓冲区,其会将客户端发送命令临时保存,然后取出来执行。 qbuf 表示总容量(0 表示没有分配查询缓冲区),qbuf-free 表示剩余容量(0 表示没有剩余空间);大小不能超过 1G,当大小超过 1G 时会将客户端自动关闭,输入缓冲区不受 maxmemory 限制。

当大量的 key 进入输入缓冲区且无法被消费时,即可造成 redis 阻塞;通过 client list 命令可定位发生阻塞的客户端;通过 info clients 命令的 blocked_clients 参数可以查看到当前阻塞的命令。

七、Redis 输出缓冲区可能导致的阻塞

输出缓冲区(client output buffer):是 redis-server 端实现的一个读取缓冲区,redis-server 在接收到客户端的请求后,把获取结果写入到 client buffer 中,而不是直接发送给客户端。从而可以继续处理客户端的其他请求,这样异步处理方式使 redis-server 不会因为网络原因阻塞其他请求的处理。

redis client buffer 的配置参数为 "client-output-buffer-limit",默认值为:

127.0.0.1:6379> CONFIG GET "*output*"
1) "client-output-buffer-limit"
2) "normal 0 0 0 slave 0 0 0 pubsub 0 0 0"
  • class :客户端种类,normal、slave、pubsub
    • normal:普通的客户端
    • slave: 从库的复制客户端
    • pub/sub: 发布与订阅的客户端
  • hard limit: 缓冲区大小的硬性限制。
  • soft limit: 缓冲去大小的软性限制。
  • soft seconds: 缓冲区大小达到了(超过)soft limit 值的持续时间。

client-output-buffer-limit 参数限制分配的缓冲区的大小,防止内存无节制的分配。参数的默认值都为 0,意思是不做任何限制。

redis server 触发保护机制主要有两种情况:

  1. client buffer 的大小达到了 soft limit 并持续了 soft seconds 时间,将立即断开和客户端的连接。
  2. client buffer 的大小达到了 hard limit,server 也会立即断开和客户端的连接。

八、网络问题

1. 连接拒绝

  • 网络闪断:一般在网络割接或带宽耗尽的情况;
  • redis 连接拒绝:连接数大于 maxclients 时拒绝新的连接进入,可以关注 info stats 的 rejected_connections 指标;
  • 连接溢出:
    • 进程限制:进程可打开最大文件数控制 —— ulimit -n,通常 1024,大量连接的 redis 需要增大该值;
    • backlog 队列溢出:系统对于特定端口 tcp 连接使用 backlog 队列保存,redis 默认 511,系统 backlog 默认 128,线上可使用 cron 定时执行 netstat -s | grep overflowed 统计;

2. 网络延迟

测量机器之间的网络延迟

redis-cli -h {ip} -p {port} –latency
redis-cli -h {ip} -p {port} –latency-history 默认15秒完成一行统计,-i控制采样时间
redis-cli -h {ip} -p {port} –latency-dist 统计图展示,每1秒采样一次

与[转帖]Redis学习六(Redis 阻塞的原因及其排查方向).相似的内容:

[转帖]Redis学习六(Redis 阻塞的原因及其排查方向).

https://www.cnblogs.com/jmcui/p/13926397.html 一、慢查询 因为 Redis 是单线程的,大量的慢查询可能会导致 redis-server 阻塞,可以通过 slowlog get n 获取慢日志,查看详情情况。 回到顶部 二、bigkey 大对象 bigk

[转帖]Day742.Redis阻塞主线程的问题 -Redis 核心技术与实战

Redis阻塞主线程的问题 Hi,我是阿昌,今天学习记录的内容是Redis阻塞主线程的问题。 Redis 之所以被广泛应用,很重要的一个原因就是它支持高性能访问。 也正因为这样,我们必须要重视所有可能影响 Redis 性能的因素(例如命令操作、系统配置、关键机制、硬件配置等),不仅要知道具体的机制,

[转帖]Redis学习笔记--Redis数据过期策略详解

本文对Redis的过期机制简单的讲解一下 讲解之前我们先抛出一个问题,我们知道很多时候服务器经常会用到redis作为缓存,有很多数据都是临时缓存一下,可能用过之后很久都不会再用到了(比如暂存session,又或者只存放日行情股票数据)那么就会出现一下几个问题了 Redis会自己回收清理不用的数据吗?

[转帖]【Redis学习06】分布式锁及其优化

文章目录 前言1. 什么是分布式锁2. 分布式锁的实现2.1 基于Redis的分布式锁实现方法2.2 基于redis实现分布式锁的初级版本2.3 改进分布式锁2.4 基于Lua脚本改善分布式锁 前言 上一篇博客我们讲到秒杀问题的一人一单在单机模式下使用synchronized添加悲观锁能解决并发问题

[转帖]【Redis学习06】分布式锁及其优化

文章目录 前言1. 什么是分布式锁2. 分布式锁的实现2.1 基于Redis的分布式锁实现方法2.2 基于redis实现分布式锁的初级版本2.3 改进分布式锁2.4 基于Lua脚本改善分布式锁 前言 上一篇博客我们讲到秒杀问题的一人一单在单机模式下使用synchronized添加悲观锁能解决并发问题

[转帖]【Redis学习06】分布式锁及其优化

文章目录 前言1. 什么是分布式锁2. 分布式锁的实现2.1 基于Redis的分布式锁实现方法2.2 基于redis实现分布式锁的初级版本2.3 改进分布式锁2.4 基于Lua脚本改善分布式锁 前言 上一篇博客我们讲到秒杀问题的一人一单在单机模式下使用synchronized添加悲观锁能解决并发问题

[转帖]Redis学习五(Spring Cache For Redis).

https://www.cnblogs.com/jmcui/p/8410560.html 一、概述 缓存(Caching)可以存储经常会用到的信息,这样每次需要的时候,这些信息都是立即可用的。 常用的缓存数据库: Redis 使用内存存储(in-memory)的非关系数据库,字符串、列表、集合、散列

[转帖]Redis学习二(数据操作).

阅读目录 key 操作 string 操作 list 操作 set 操作 zset 操作 hash 操作 HyperLogLog 操作 回到顶部 key 操作 删除 key:del key 批量删除key:redis-cli -a(密码)keys “QXJ_*”| xargs redis-cli -

[转帖]Redis学习三(进阶功能).

https://www.cnblogs.com/jmcui/p/11707970.html 阅读目录 一、排序 二、事务 三、流水线(pipeline) 四、发布订阅 回到顶部 一、排序 redis 支持对 list,set 和 zset 元素的排序,排序的时间复杂度是 O(N+M*log(M))。

[转帖]Redis学习四(运维指南).

阅读目录 一、上线规划 二、常见运维操作 三、测试方法 回到顶部 一、上线规划 一般 redis 的参数配置都在 redis.conf 中,在上线前根据实际环境配置好合适参数,能有效提高 redis 的可用性。 redis 的运行机器 CPU 不求核数多,但求主频高,Cache大,因为 redis