[转帖]redis模糊批量删除key的方法

redis,模糊,批量,删除,key,方法 · 浏览次数 : 0

小编点评

**一、命令行删除1234567891011121314151617** ``` # 使用 keys 命令列出所有满足条件的 key keys 1234567891011121314151617 # 使用 xargs 命令批量删除 key xargs redis-cli -h 172.18.255.99 -p 6379 -n 6 -a 123456 DEL-h:redis地址-p:redis端口-n:reids库-a:redis密码 ``` **二、golang代码删除1234567891011121314151617** ```go import ( "context" "fmt" "log/ioutil" ) func DeleteRedisKeys(key string) { traceId := libra.GenTraceId(context.Background(), nil) ctx := libra.SetTraceId(context.Background(), traceId) // 模糊查询所有符合条件的 key websocketKeys, err := commons.GetRedisClient().Keys(ctx, key+"*\").Result() // 如果没有匹配的key,则返回 if err != nil { dlog.Errorf("DeleteKeys addr:=%v,err=%v", addr, err) return } // 批量删除key for i := 0; i < len(websocketKeys); i++ { _, err := commons.GetRedisClient().Del(ctx, val.Index(i).Interface().(string)).Result() if err != nil { dlog.Errorf("DeleteKeys addr:=%v,err=%v", addr, err) } } } ```

正文

https://www.jb51.net/article/270233.htm

 

一、命令行删除

1
redis-cli -h 172.18.255.99 -p 6379 -n 6 -a 123456 KEYS "websocket127.0.0.1:5*" | xargs redis-cli -h 172.18.255.99 -p 6379 -n 6 -a 123456 DEL
  • -h:redis地址
  • -p:redis端口
  • -n:reids库
  • -a:redis密码

Redis 提供了一个简单暴力的指令 keys 用来列出所有满足特定正则字符串规则的 key。

注:这个指令使用非常简单,提供一个简单的正则字符串即可,但是有很明显的两个缺点。

  • 没有 offset、limit 参数,一次性吐出所有满足条件的 key,万一实例中有几百 w 个 key 满足条件,
  • 当你看到满屏的字符串刷的没有尽头时,你就知道难受了。
  • keys 算法是遍历算法,复杂度是 O(n),如果实例中有千万级以上的 key,这个指令就会导致 Redis 服务卡顿,
  • 所有读写 Redis 的其它的指令都会被延后甚至会超时报错,
  • 因为 Redis 是单线程程序,顺序执行所有指令,其它指令必须等到当前的 keys 指令执行完了才可以继续。

所以建议生产环境屏蔽keys命令

scan 相比 keys 具备有以下特点:

  • 复杂度虽然也是 O(n),但是它是通过游标分步进行的,不会阻塞线程;
  • 提供 limit 参数,可以控制每次返回结果的最大条数,limit 只是对增量式迭代命令的一种提示(hint),返回的结果可多可少;
  • 同 keys 一样,它也提供模式匹配功能;
  • 服务器不需要为游标保存状态,游标的唯一状态就是 scan 返回给客户端的游标整数;
  • 返回的结果可能会有重复,需要客户端去重复,这点非常重要;
  • 遍历的过程中如果有数据修改,改动后的数据能不能遍历到是不确定的;
  • 单次返回的结果是空的并不意味着遍历结束,而要看返回的游标值是否为零

KEYS vs SCAN

一樣都會掃過所有的 key,scan 不會阻塞整個 server,而是迭代的收集結果

DEL vs UNLINK

一樣都是刪除 key ,差別在於 unlink 是非阻塞的刪除,會以非同步的方式回收記憶體

所以对于一个大的key数量,我们可以借助sscan使用下边的命令可以实现优雅的批量删除:

1
redis-cli -h 172.18.255.99 -p 6379 --scan --pattern users:* | xargs redis-cli -h 172.18.255.99 -p 6379 unlink
  • 用 scan 找出要刪的 key
  • 透過 xargs 傳給 unlink 刪掉 key
1
(error) ERR unknown command 'unlink'

如果出现以上错误,说明redis版本不足,使用unlink需要Redis4版本

cluster 删除数据

1
redis-cli -c -p 7000 --scan --pattern "age_*" | xargs -L 1 redis-cli -c -p 7000 -n 0 unlink

遍历redis cluster各分片删除

1
2
3
for port in {7000..7005}; do
    redis-cli -c -p ${port} -h 192.168.31.181 --scan --pattern "age_*" | xargs -L 1 redis-cli -h 192.168.31.181 -c -p ${port} -n 0 unlink 
done

二、golang代码删除

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
func DeleteRedisKeys(key string) {
    traceId := libra.GenTraceId(context.Background(), nil)
    ctx := libra.SetTraceId(context.Background(), traceId)
    //模糊查询所有符合条件的key
    websocketKeys, _ := commons.GetRedisClient().Keys(ctx, key+"*").Result()
    if reflect.TypeOf(websocketKeys).Kind() == reflect.Slice {
        val := reflect.ValueOf(websocketKeys)
        if val.Len() == 0 {
            return
        }
        // 批量删除key
        for i := 0; i < val.Len(); i++ {
            _, err := commons.GetRedisClient().Del(ctx, val.Index(i).Interface().(string)).Result()
            dlog.Errorf("DeleteKeys addr:=%v,err=%v", addr, err)
        }
    }
}

参考文档

Redis SCAN的使用:http://jinguoxing.github.io/redis/2018/09/04/redis-scan/

到此这篇关于redis模糊批量清除key的文章就介绍到这了,更多相关redis模糊删除key内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

与[转帖]redis模糊批量删除key的方法相似的内容:

[转帖]redis模糊批量删除key的方法

https://www.jb51.net/article/270233.htm 一、命令行删除 1 redis-cli -h 172.18.255.99 -p 6379 -n 6 -a 123456 KEYS "websocket127.0.0.1:5*" | xargs redis-cli -h

[转帖]redis集群批量删除模糊key shell脚本

1. 命令删除: 1. 1批量删除Key Redis 中有删除单个 Key 的指令 DEL,但好像没有批量删除 Key 的指令,不过我们可以借助 Linux 的 xargs 指令来完成这个动作 redis-cli keys "*" | xargs redis-cli del //如果redis-cl

[转帖]Redis进阶实践之十八 使用管道模式提高Redis查询的速度

https://www.cnblogs.com/PatrickLiu/p/8580301.html 一、引言 学习redis 也有一段时间了,该接触的也差不多了。后来有一天,以前的同事问我,如何向redis中批量的增加数据,肯定是大批量的,为了这主题,我又重新找起了解决方案。目前的解决方案大都是从官

[转帖]Redis进阶实践之十八 使用管道模式提高Redis查询的速度

https://www.cnblogs.com/PatrickLiu/p/8580301.html 一、引言 学习redis 也有一段时间了,该接触的也差不多了。后来有一天,以前的同事问我,如何向redis中批量的增加数据,肯定是大批量的,为了这主题,我又重新找起了解决方案。目前的解决方案大都是从官

[转帖]Redis进阶(发布订阅,PipeLine,持久化,内存淘汰)

目录 1、发布订阅 1.1 什么是发布订阅 1.2 客户端实例演示 1.3 Java API演示 1.4 Redis发布订阅和rabbitmq的区别 2、批量操作 2.1 普通模式与 PipeLine 模式 2.2 适用场景 2.3 源码解析 2.4 Pipelining的局限性 2.5 事务与 L

[转帖]redis-cli 命令式操作--模糊删除,带空格删除

https://www.cnblogs.com/linyufeng/p/13610717.html 1. redis-cli 命令操作帮助说明 C:Program FilesRedis>redis-cli.exe --help redis-cli 3.2.100 Usage: redis-cli [

[转帖]Redis 禁用 危险命令

一、Redis 危险命令 keys * :虽然其模糊匹配功能使用非常方便也很强大,在小数据量情况下使用没什么问题,数据量大会导致 Redis 锁住及 CPU 飙升,在生产环境建议禁用或者重命名!flushdb :删除 Redis 中当前所在数据库中的所有记录,并且此命令从不会执行失败flushall

[转帖]Redis 哨兵模式(Sentinel) 原理

https://juejin.cn/post/6865687858905088008知道的还是太少呢. 为什么需要哨兵模式(Sentinel) 只依靠持久化方案,在服务器下线后无法恢复服务 使用主从复制,在 master 节点下线后,可以手动将 slave 节点切换为 master,但是不能自动完成

[转帖]Redis线程模型的前世今生

https://www.jianshu.com/p/ea83267db47a 一、概述 众所周知,Redis是一个高性能的数据存储框架,在高并发的系统设计中,Redis也是一个比较关键的组件,是我们提升系统性能的一大利器。深入去理解Redis高性能的原理显得越发重要,当然Redis的高性能设计是一个

[转帖]Redis 单机模式,主从模式,哨兵模式(sentinel),集群模式(cluster),第三方模式优缺点分析

https://www.cnblogs.com/leffss/p/11993646.html Redis 的几种常见使用方式包括: 单机模式 主从模式 哨兵模式(sentinel) 集群模式(cluster) 第三方模式 单机模式 Redis 单副本,采用单个 Redis 节点部署架构,没有备用节点