[转帖]来来来，快速撸 Redis 一遍！

来来来,快速,redis,一遍 · 浏览次数 : 0

小编点评

**Redis规范使用指南** **基本概念** * Redis 是一个分布式锁读写锁的 Java 客户端。 * 它支持各种数据结构，包括锁、分布式Map等。 * 它使用 Lua脚本进行数据操作。 **锁** * Redis 使用 Lua脚本进行锁。 * 每个锁都有一个唯一的 stamp。 * 不同的 stamp 可以锁不同的 key。 * 锁超时时间可以配置。 **分布式锁** * 每个 Redis 服务器都有一个分布式锁。 * 分布式锁支持多个 key。 * 多个服务器可以获取锁，但只能一个服务器完成获取。 * 分布式锁使用 Lua脚本进行获取。 **分布式Map** * 分布式Map 是一个支持多个 key的分布式锁。 * 每个 key 有一个锁。 * 不同锁可以锁不同的 key。 * 分布式Map使用 Lua脚本进行获取。 **Lua脚本** * Lua 是 Redis 的脚本语言。 * 脚本可以用于各种数据操作，包括锁、分布式Map、分布式锁等。 * 脚本可以使用 Redis 的 Java API进行操作。 **常见问题** * 如何设置锁超时时间？ * 如何设置分布式锁超时时间？ * 如何设置分布式Map的锁？ * 如何设置 Lua脚本的锁？ * 如何使用 Redis 的 Java API进行操作？ **示例** **获取锁** ```lua stamp = redis.call("GET", key) ``` **设置分布式锁超时时间** ```lua redis.call("SETEX", key, stamp, 60) ``` **设置分布式Map锁** ```lua redis.call("SET", key, "myLock") ``` **使用 Lua脚本进行数据操作** ```lua redis.call("SETNX", key, "myKey", 60) redis.call("GET", key) ``` **使用 Redis 的 Java API进行操作** ```java RedisTemplate redisTemplate = new RedisTemplate(); redisTemplate.opsForValue().setIfAbsent(key, value, timeOutSeconds, TimeUnit.SECONDS); ```

正文

https://juejin.cn/post/7187322861550305341

 

原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。

年底了，你发年终奖了么？是不是很不爽？不管是被动毕业还是主动毕业，生活还得继续是不是？

作为程序员，那就离不开Redis，谁让不争气的磁盘还是那么慢呢？要过了面试这道坎，Redis必须掌握好。除了会用，还得了解它背后的原理。

为啥？因为大家现在都在养蛊。人生在世，诸多无奈。逆水行舟，不进则退。

如果你读过Redis相关的书籍，本文就帮你快速的撸一遍。没读过也不要紧，缺啥补啥。

redis能力：

  • 1 0W/s QPS （redis-benchmark）
  • 1w+ 长链接 （netstat / ss）
  • 最复杂的Zset 6kw数据 写入1k/s 读取5k/s 平均耗时5ms
  • 持久化 (rdb)

1. 基本概览

学习一门新语言，重要的是掌握它的基本数据结构，以及这些数据结构的API。redis的这些数据结构，就类似一门语言。

Redis数据结构

常用5种，一共10种。面试时一般回答5种即可，但其他5种是加分项。

  • String 字符串
  • Hash 字典
  • List 列表
  • Set 集合
  • ZSet 有序集合。性能参考：《redis的zset有多牛？请把耳朵递过来》
  • Pubsub 发布订阅 （不推荐使用，坑很多）
  • Bitmap 位图
  • GEO 地理位置 （有限使用，附近的人）
  • Stream 流(5.0) （与Kafka非常像）
  • Hyperloglog 基数统计

Redis的协议

Redis是文本协议

  • RESP 以CRLF结尾(\r\n)
  • RESP3 （redis6启用，增加客户端缓存）

Redis底层数据结构

数据量较小和大数据量的时候，往往不同，关注大数据量的主要结构。

  • String-sds
  • Hash-(ziplist , dict)
  • Set-(intset,dict)
  • List-(ziplist,quicklist)
  • ZSet-(ziplist+skiptable 跳表)
  • Stream-(radix-tree 基数数)

跳表的关注度比较大，在Java中，可以参考类似ConcurrentSkipListMap实现。

另：Java中有序Set叫做TreeSet，但是用红黑树实现的，注意区别。

Redis持久化方式

生产环境，一般仅采用RDB模式。

  • RDB
  • AOF （类似Binglog row模式）
  • 混合模式：RDB+AOF

O(n)指令

  • keys *
  • hgetall
  • smembers
  • sunion
  • ...

建议在集合大小不确定的时候，使用scan hscan sscan zscan 替代。另外，像keys这种危险命令，最好使用RENAME指令给屏蔽掉。

性能优化

  • unlink删除key -> 异步避免阻塞
  • pipeline批量传输，减少网络RTT ->减少频繁网络交互
  • 多值指令（mset，hmset）-> 减少频繁网络交互
  • 关掉aof -> 避免io_wait

扩展方式

  • lua
  • redis-module

module模式知道的人比较少，属于比较底层的开发。

2. 问题排查

  • monitor指令 回显所有执行的指令。可以使用grep配合过滤
  • keyspace-events 订阅某些Key的事件。比如，删除某条数据的事件，底层实现基于pubsub
  • slow log 顾名思义，满查询，非常有用
  • --bigkeys启动参数 Redis大Key健康检查。使用的是scan的方式执行， 不用担心阻塞
  • memory usage key、memory stats 指令
  • info指令，关注instantaneous_ops_per_sec、used_memory_human、connected_clients
  • redis-rdb-tools rdb线下分析

3. 淘汰策略

如果你应聘的是redis dba，这道题答不出来，直接淘汰。

  1. 被动删除 (只有被get到的时候，删除并返回NIL 属于惰性删除）
  2. 主动删除 (100ms运行一次，随机删除持续25ms，类似Cron）
  3. ->内存使用超过maxmemory，触发主动清理策略

针对于第三种情况，有8种策略。注意，redis已经有LFU了。

  1. 默认volatile-lru 从设置过期数据集里查找最近最少使用
  2. volatile-ttl 从设置过期的数据集里面优先删除剩余时间短的Key
  3. volatile-random 从设置过期的数据集里面任意选择数据淘汰
  4. volatile-lfu 从过期的数据集里删除 最近不常使用 的数据淘汰
  5. allkeys-lru
  6. allkeys-lfu
  7. allkeys-random 数据被使用频次最少的,优先被淘汰
  8. no-enviction

如果不设置maxmemory,Redis将一直使用内存，直到触发操作系统的OOM-KILLER。

4. 集群模式

  1. 单机
  2. 单机多实例
  3. 主从（1+n）
  4. 主从（1+n）& 哨兵（3或者基数个）
  5. Redis Cluster （推荐，但使用有限制）。参考：《与亲生的Redis Cluster，来一次亲密接触》

互联网建议使用Redis Cluster，外包、项目随意。

具体搭建过程，请参考：《好慌，Redis这么多集群方案，要用哪种？》

大规模

  • twemproxy
  • codis
  • 基于Netty Redis协议自研
  • 管理平台：CacheCloud

5. Redis常见问题

Redis使用场景

  • 缓存 （缓存一致性 缓存穿透 缓存击穿 缓存雪崩）
  • 分布式锁 （redlock）
  • 分布式限流
  • Session

API举例：

  • zset 排行榜，排序
  • bitmap 用户签到，在线状态
  • geo 地理位置，附近的人
  • stream 类似kafka的消息流
  • hyperloglog 每日访问ip数统计

缓存一致性

为什么有一致性问题?

  • 写入。缓存和数据库是两个不同的组件，只要涉及到双写，就存在只有一个写成功的可能性，造成数据不一致。
  • 更新。更新的情况类似，需要更新两个不同的组件。
  • 读取。读取要保证从缓存中读到的信息是最新的，是和数据库中的是一致的。
  • 删除。当删除数据库记录的时候，如何把缓存中的数据也删掉？

建议使用：Cache Aside Pattern

读请求：

  • 先读cache，再读db

变更操作：

  • 先操作数据库，再 淘汰 缓存

涉及到复杂的事务和回滚操作，可以把淘汰放在finally里。

问题：缓存淘汰失败！（概率很低 ，定时补偿）

缓存击穿

影响，轻微。

高流量下 大量请求读取一个失效的Key -> Redis Miss -> 穿透到DB

解决方式：采用分布式锁，只有拿到锁的第一个线程去请求数据库，然后插入缓存

缓存穿透

影响，一般。

访问一个不存在的Key（恶意攻击）-> Redis Miss -> 穿透到DB

解决方式：

  1. 给相应的Key设置一个Null值，放在缓存中
  2. BloomFilter预先判断

缓存雪崩

影响：严重。

大量Key同时失效 ｜ 2.Redis当机 -> Redis Miss -> 压力打到DB

解决方式：

  1. 给失效时间加上相对的随机数
  2. 保证Redis的高可用

分布式锁

redis的分布式锁，并不是那么简单。建议使用redisson的redlock。最基础的指令是setnx。

setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]
复制代码

分布式锁 关键点：

  • 原子性
  • 锁超时
  • 死锁
  • 读写锁
  • 故障转移

最简单的Redis分布式锁代码（不严谨）。

java端代码模拟lock和unlock。

public String lock(String key, int timeOutSecond) {
    for (; ; ) {
        String stamp = String.valueOf(System.nanoTime());
        boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS);
        if (exist) {
            return stamp;
        }
    }
}
public void unlock(String key, String stamp) {
    redisTemplate.execute(script, Arrays.asList(key), stamp);
}
复制代码

lua脚本unlock。

local stamp = ARGV[1]
local key = KEYS[1]
local current = redis.call("GET",key)
if stamp == current then
    redis.call("DEL",key)
    return "OK"
end
复制代码

6. Redis使用

常用Java客户端

  • lettuce SpringBoot默认,基于Netty的事件驱动模型
  • jedis 老牌的客户端，使用commons-pool来完成线程池开发
  • redisson 非常丰富的分布式数据结构，包括锁，分布式Map等。大量使用Lua脚本️

详细分析：Redis都要老了，你还在用什么古董客户端？

使用规范

根据公司情况自定义裁剪，没有万能的规范。更多：

这可能是最中肯的Redis规范了

  • 使用连接池，不要频繁创建关闭客户端连接
  • 消息大小限制 消息体在10kb以下，可以使用snappy、msgpack等压缩
  • 避免大key和hot key
  • 不使用O(n)指令
  • 不使用不带范围的Zrange指令
  • 不使用database（容易覆盖数据）
  • 不使用高级数据结构（使用基本的5种）
  • 不使用事务操作
  • 禁止长时间monitor

springboot cache redis

  • 使用时更要注意规范性
  • cache层抽象层次太高，如需要操作底层的数据结构，直接使用redisTemplate

Redis是多线程？

要看哪个阶段。数据操作阶段，一直是单线程的，哪怕是redis6。

这篇文章分析了这个过程：和 杠精 聊Redis多线程 :(

End

祝好运！如有帮助，请不吝赐赞。

来来来 快速 redis 一遍

与[转帖]来来来，快速撸 Redis 一遍！相似的内容：

[转帖]来来来，快速撸 Redis 一遍！

https://juejin.cn/post/7187322861550305341 原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 年底了，你发年终奖了么？是不是很不爽？不管是被动毕业还是主动毕业，生活还得继续是不是？ 作为程序员，那就离不开Redis，谁让不争气的磁

来来来 快速 redis 一遍
0
[转帖]基于 Skywalking 部署应用性能监控

https://www.jianshu.com/p/50627b9ab0be 今天我们就着重讲一讲如何基于 Skywalking 来快速搭建一套应用性能监控平台 walkingfunny.com.png 一、Skywaling 介绍 Skywalking是由国内开源爱好者吴晟开源并提交到Apache

基于 skywalking 部署 应用
0
[转帖]服务器压力过大？CPU打满？我来帮你快速检查Linux服务器性能

https://cloud.tencent.com/developer/article/1879120?areaSource=&traceId= 九条指令查看Linux服务器指令 一、uptime 这个命令可以快速查看机器的负载情况。在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中

服务器 压力 cpu 快速
0
[转帖]MySQL快速备份表

https://www.cnblogs.com/JaxYoun/p/14264593.html 1、复制表结构及数据到新表 CREATE TABLE 新表 SELECT * FROM 旧表 这种方法会将oldtable中所有的内容都拷贝过来，当然我们可以用delete from newtable;来

mysql 快速 备份
0
[转帖]使用docker快速构建RabbitMQ

https://www.cnblogs.com/shanfeng1000/p/16261011.html 有时间，我们需要rabbitmq测试一下，如果按照原方案部署一个rabbitmq，比较麻烦，这个时候可以使用docker快速构建一个rabbitmq来使用。 rabbitmq:managemen

使用 docker 快速 构建
0
[转帖]本地负载均衡与 Nginx 区别 | 学习笔记

来自：阿里云开发者学堂 2022-10-31 92 辽宁举报 简介： 快速学习 本地负载均衡与 Nginx 区别 开发者学堂课程【精通 Spring Cloud Alibaba：本地负载均衡与 Nginx 区别】学习笔记，与课程紧密联系，让用户快速学习知识。 课程地址：https://develop

本地 负载 均衡 nginx
0
【转帖】Linux中如何取消ln链接？（linuxln取消）

https://www.dbs724.com/163754.html Linux系统使用ln命令可以快速创建链接，ln链接是指把文件和目录链接起来，当改变源时可以快速地改变整个目录下的文件和目录。有时候，某些文件或者目录链接起来不是我们需要的，我们需要使用Linux取消ln链接命令。下面就来简单介绍

linux 如何 取消 ln
0
[转帖]性能优化必备——火焰图

引言 本文主要介绍火焰图及使用技巧，学习如何使用火焰图快速定位软件的性能卡点。结合最佳实践实战案例，帮助读者加深刻的理解火焰图构造及原理，理解 CPU 耗时，定位性能瓶颈。 背景 当前现状 假设没有火焰图，你是怎么调优程序代码的呢？让我们来捋一下。 1. 功能开关法 想当年我刚工作，还是一个技术小白

性能 优化 必备 火焰
0
[转帖]TIKV扩容之刨坑填坑​

01 背景 某tidb集群收到告警，TIKV 节点磁盘使用率85%以上，联系业务无法快速删除数据，于是想到扩容TIKV 节点，原先TIKV 节点机器都是6TB的硬盘，目前只有3TB的机器可扩，也担心region 均衡后会不会打满3TB的盘，PD 调度策略来看应该是会根据不同存储机器的资源配置和使用情

tikv 扩容 刨坑
0
[转帖]A-Ops性能火焰图——适用于云原生的全栈持续性能监测工具

https://www.modb.pro/db/610990 对于开发及运维人员来讲，火焰图是一个经典的定位性能问题的方法。利用火焰图可以可视化系统资源（cpu占用、内存占用、调度、IO等）的占用情况，从而帮助技术人员快速定位资源异常使用的代码级根因，或者观察潜在性能劣化趋势，进而优化系统和应用的性

ops 性能 火焰 适用于
0
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.