Redis 内存淘汰机制详解

2023-02-15 15:40:24

一般来说，缓存的容量是小于数据总量的，所以，当缓存数据越来越多，Redis 不可避免的会被写满，这时候就涉及到 Redis 的内存淘汰机制了。我们需要选定某种策略将“不重要”的数据从 Redis 中清除，为新的数据腾出空间。

配置Redis内存大小

我们应该为 Redis 设置多大的内存容量呢？

根据“八二原理“，即 80% 的请求访问了 20% 的数据，因此如果按照这个原理来配置，将 Redis 内存大小设置为数据总量的 20%，就有可能拦截到 80% 的请求。当然，只是有可能，对于不同的业务场景需要进行不同的配置，一般建议把缓存容量设置为总数据量的 15% 到 30%，兼顾访问性能和内存空间开销。

配置方式（以 5GB 为例，如果不带单位则默认单位是字节）：

命令行

config set maxmemory 5gb

配置文件

查看 maxmemory 命令

config get maxmemory

Redis的内存淘汰策略

在 Redis 4.0 版本之前有 6 种策略，4.0 增加了 2种，主要新增了 LFU 算法。

下图为 Redis 6.2.0 版本的配置文件：

其中，默认的淘汰策略是 noevition，也就是不淘汰

我们可以对 8 种淘汰策略可以分为两大类：

不进行淘汰的策略

noevition，此策略不会对缓存的数据进行淘汰，当内存不够了就会报错，因此，如果真实数据集大小大于缓存容量，就不要使用此策略了。

会进行淘汰的策略

allkeys-random：随机删除
allkeys-lru：使用 LRU 算法进行筛选删除
allkeys-lfu：使用 LFU 算法进行筛选删除
volatile-random：随机删除
volatile-ttl：根据过期时间先后进行删除，越早过期的越先被删除
volatile-lru：使用 LRU 算法进行筛选删除
volatile-lfu：使用 LFU 算法进行筛选删除
在设置了过期时间的数据中筛选
在所有数据中筛选

以 volatile 开头的策略只针对设置了过期时间的数据，即使缓存没有被写满，如果数据过期也会被删除。

以 allkeys 开头的策略是针对所有数据的，如果数据被选中了，即使过期时间没到，也会被删除。当然，如果它的过期时间到了但未被策略选中，同样会被删除。

那么我们如何配置过期策略呢？

命令行

config set maxmemory-policy allkeys-lru

配置文件

LRU算法

首先简单介绍一下 LRU 算法：

LRU 全称是 Least Recently Used，即近少使用，会将不常用的数据筛选出来，保留近频繁使用的数据。

LRU 会把所有数据组成一个链表，链表头部称为 MRU，代表近常使用的数据；尾部称为 LRU代表近不常使用的数据；

下图是一个简单的例子：

但是，如果直接在 Redis 中使用 LRU 算法也会有一些问题：

LRU 算法在实现过程中使用链表管理所有缓存的数据，这会给 Redis 带来额外的开销，而且，当有数据访问时就会有链表移动操作，进而降低 Redis 的性能。

于是，Redis 对 LRU 的实现进行了一些改变：

记录每个 key 近一次被访问的时间戳（由键值对数据结构 RedisObject 中的 lru 字段记录）
在次淘汰数据时，会先随机选择 N 个数据作为一个候选集合，然后淘汰 lru 值小的。（N 可以通过 config set maxmemory-samples 100 命令来配置）
后续再淘汰数据时，会挑选数据进入候选集合，进入集合的条件是：它的 lru 小于候选集合中小的 lru。
如果候选集合中数据个数达到了 maxmemory-samples，Redis 就会将 lru 值小的数据淘汰出去。