面试官：聊聊redis大key？

今天来聊聊关于 Redis 大 key 的四个问题。什么是 Redis 大 key大 key 会造成什么问题如何找到大 key 如何删除大 key什么是 Redis 大 key大 key 并不是指 key 的值很大而是 key 对应的 value 很大。一般而言下面这两种情况被称为大 keyString 类型的值大于 10 KBHash、List、Set、ZSet 类型的元素的个数超过 5000个大 key 会造成什么问题大 key 会带来以下四种影响客户端超时阻塞。由于 Redis 执行命令是单线程处理然后在操作大 key 时会比较耗时那么就会阻塞 Redis从客户端这一视角看就是很久很久都没有响应。引发网络阻塞。每次获取大 key 产生的网络流量较大如果一个 key 的大小是 1 MB每秒访问量为 1000那么每秒会产生 1000MB 的流量这对于普通千兆网卡的服务器来说是灾难性的。阻塞工作线程。如果使用 del 删除大 key 时会阻塞工作线程这样就没办法处理后续的命令。内存分布不均。集群模型在 slot 分片均匀情况下会出现数据和查询倾斜情况部分有大 key 的 Redis 节点占用内存多QPS 也会比较大。如何找到大 key 1、redis-cli --bigkeys 查找大key可以通过 redis-cli --bigkeys 命令查找大 keyredis-cli -h 127.0.0.1 -p6379 -a password -- bigkeys使用的时候注意事项最好选择在从节点上执行该命令。因为主节点上执行时会阻塞主节点如果没有从节点那么可以选择在 Redis 实例业务压力的低峰阶段进行扫描查询以免影响到实例的正常运行或者可以使用 -i 参数控制扫描间隔避免长时间扫描降低 Redis 实例的性能。该方式的不足之处这个方法只能返回每种类型中最大的那个 bigkey无法得到大小排在前 N 位的 bigkey对于集合类型来说这个方法只统计集合元素个数的多少而不是实际占用的内存量。但是一个集合中的元素个数多并不一定占用的内存就多。因为有可能每个元素占用的内存很小这样的话即使元素个数有很多总内存开销也不大2、使用 SCAN 命令查找大 key使用 SCAN 命令对数据库扫描然后用 TYPE 命令获取返回的每一个 key 的类型。对于 String 类型可以直接使用 STRLEN 命令获取字符串的长度也就是占用的内存空间字节数。对于集合类型来说有两种方法可以获得它占用的内存大小如果能够预先从业务层知道集合元素的平均大小那么可以使用下面的命令获取集合元素的个数然后乘以集合元素的平均大小这样就能获得集合占用的内存大小了。List 类型LLEN 命令Hash 类型HLEN 命令Set 类型SCARD 命令Sorted Set 类型ZCARD 命令如果不能提前知道写入集合的元素大小可以使用 MEMORY USAGE 命令需要 Redis 4.0 及以上版本查询一个键值对占用的内存空间。3、使用 RdbTools 工具查找大 key使用 RdbTools 第三方开源工具可以用来解析 Redis 快照RDB文件找到其中的大 key。比如下面这条命令将大于 10 kb 的 key 输出到一个表格文件。rdb dump.rdb -c memory --bytes 10240 -f redis.csv如何删除大 key删除操作的本质是要释放键值对占用的内存空间不要小瞧内存的释放过程。释放内存只是第一步为了更加高效地管理内存空间在应用程序释放内存时操作系统需要把释放掉的内存块插入一个空闲内存块的链表以便后续进行管理和再分配。这个过程本身需要一定时间而且会阻塞当前释放内存的应用程序。所以如果一下子释放了大量内存空闲内存块链表操作时间就会增加相应地就会造成 Redis 主线程的阻塞如果主线程发生了阻塞其他所有请求可能都会超时超时越来越多会造成 Redis 连接耗尽产生各种异常。因此删除大 key 这一个动作我们要小心。具体要怎么做呢这里给出两种方法分批次删除异步删除Redis 4.0版本以上1、分批次删除对于删除大 Hash使用 hscan 命令每次获取 100 个字段再用 hdel 命令每次删除 1 个字段。Python代码def del_large_hash(): r redis.StrictRedis(hostredis-host1, port6379) large_hash_key xxx #要删除的大hash键名 cursor 0 while cursor ! 0: # 使用 hscan 命令每次获取 100 个字段 cursor, data r.hscan(large_hash_key, cursorcursor, count100) for item in data.items(): # 再用 hdel 命令每次删除1个字段 r.hdel(large_hash_key, item[0])对于删除大 List通过 ltrim 命令每次删除少量元素。Python代码def del_large_list(): r redis.StrictRedis(hostredis-host1, port6379) large_list_key xxx #要删除的大list的键名 while r.llen(large_list_key)0: #每次只删除最右100个元素 r.ltrim(large_list_key, 0, -101)对于删除大 Set使用 sscan 命令每次扫描集合中 100 个元素再用 srem 命令每次删除一个键。Python代码def del_large_set(): r redis.StrictRedis(hostredis-host1, port6379) large_set_key xxx # 要删除的大set的键名 cursor 0 while cursor ! 0: # 使用 sscan 命令每次扫描集合中 100 个元素 cursor, data r.sscan(large_set_key, cursorcursor, count100) for item in data: # 再用 srem 命令每次删除一个键 r.srem(large_size_key, item)对于删除大 ZSet使用 zremrangebyrank 命令每次删除 top 100个元素。Python代码def del_large_sortedset(): r redis.StrictRedis(hostlarge_sortedset_key, port6379) large_sortedset_keyxxx while r.zcard(large_sortedset_key)0: # 使用 zremrangebyrank 命令每次删除 top 100个元素 r.zremrangebyrank(large_sortedset_key,0,99)2、异步删除从 Redis 4.0 版本开始可以采用异步删除法用 unlink 命令代替 del 来删除。这样 Redis 会将这个 key 放入到一个异步线程中进行删除这样不会阻塞主线程。