绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
.NET性能优化-使用内存+磁盘混合缓存
2022-11-22 17:12:50

我们回顾一下上一篇文章中的内容,有一个朋友问我这样一个问题:

我的业务依赖一些数据,因为数据库访问慢,我把它放在Redis里面,不过还是太慢了,有什么其它的方案吗?

其实这个问题比较简单的是吧?Redis其实属于网络存储,我对照下面的这个表格,可以很容易的得出结论,既然网络存储的速度慢,那我们就可以使用内存RAM存储,把放Redis里面的数据给放内存里面就好了。

操作速度
执行指令1/1,000,000,000 秒 = 1 纳秒
从一级缓存读取数据0.5 纳秒
分支预测失败5 纳秒
从二级缓存读取数据7 纳秒
使用Mutex加锁和解锁25 纳秒
从主存(RAM内存)中读取数据100 纳秒
在1Gbps速率的网络上发送2Kbyte的数据20,000 纳秒
从内存中读取1MB的数据250,000 纳秒
磁头移动到新的位置(代指机械硬盘)8,000,000 纳秒
从磁盘中读取1MB的数据20,000,000 纳秒
发送一个数据包从美国到欧洲然后回来150 毫秒 = 150,000,000 纳秒

提出这个方案以后,接下来就遇到了另外一个问题:

但是数据比我应用的内存大,这怎么办呢?

在上篇文章中,我们提到了使用FASTER作为内存+磁盘混合缓存的方案,但是由于FASTER的API比较难使用,另外在纯内存场景中表现不如ConcurrentDictionary,所以后得出的结论也是仅供参考。

经过一段时间的研究,笔者实现了一个基于微软FasterKv封装的进程内混合缓存库(内存+磁盘),它有着更加易用的API,接下来就和大家讨论讨论它。

FasterKvCache架构

这里需要简单的说一说FasterKvCache的架构,它核心使用的FasterKv,所以架构实际上和FasterKv一致,其原理比较复杂,所以笔者简化了原理图,大概就如下所示:

FasterKv的热数据会在内存中,而全量的数据会持久化在磁盘中。这中间有一些缓存淘汰算法,所以大家看到这张图就能明白FasterKvCache适用和不适用哪些场景了。

如何使用它

笔者之前给EasyCaching提交了FasterKv的实现,但是由于有一些EasyCaching的功能在FasterKv上目前无法高性能的实现,所以单独创建了这个库,提供高性能和基本的API实现;如果大家已经使用了EasyCaching,那么可以直接使用EasyCaching.FasterKv这个NuGet包。

如果使用需要FasterKvCache的话,只需要安装Nuget包,Nuget包不同的功能如下所示,其中序列化包可以只安装自己需要的即可。

软件包名版本备注
FasterKv.Cache.Core1.0.0-rc1缓存核心包,包含FasterKvCache主要的API
FasterKv.Cache.MessagePack1.0.0-rc1基于MessagePack的磁盘序列化包,它具有着非常好的性能,但是需要注意它稍微有一点使用门槛,大家可以看它的文档。
FasterKv.Cache.SystemTextJson1.0.0-rc1基于System.Text.Json的磁盘序列化包,它是.NET平台上性能好JSON序列化封装,但是比MessagePack差。不过它易用性非常好,无需对缓存实体进行单独配置。

使用

直接使用

我们可以直接通过new FasterKvCache(...)的方式使用它,目前它只支持基本的三种操作GetSetDelete。为了方便使用和性能的考虑,我们将FasterKvCache分为两种API风格,一种是通用对象风格,一种是泛型风格。

  • 通用对象:直接使用new FasterKvCache(...)创建,可以存放任意类型的Value。它底层使用object类型存储,所以内存缓冲内访问值类型对象会有装箱和拆箱的开销。
  • 泛型:需要使用new FasterKvCache<T>(...)创建,只能存放T类型的Value。它底层使用T类型存储,所以内存缓冲内不会有任何开销。

当然如果内存缓冲不够,对应的Value被淘汰到磁盘上,那么同样都会有读写磁盘、序列化和反序列化开销。

通用对象版本

代码如下所示,同一个cache实例可以添加任意类型:

using FasterKv.Cache.Core;
using FasterKv.Cache.Core.Configurations;
using FasterKv.Cache.MessagePack;

// create a FasterKvCache
var cache = new FasterKv.Cache.Core.FasterKvCache("MyCache",
    new DefaultSystemClock(),
    new FasterKvCacheOptions(),
    new IFasterKvCacheSerializer[]
    {
        new MessagePackFasterKvCacheSerializer
        {
            Name = "MyCache"
        }
    },
    null);

var key = Guid.NewGuid().ToString("N");

// sync 
// set key and value with expiry time
cache.Set(key, "my cache sync", TimeSpan.FromMinutes(5));

// get
var result = cache.Get<string>(key);
Console.WriteLine(result);

// delete
cache.Delete(key);

// async
// set
await cache.SetAsync(key, "my cache async");

// get
result = await cache.GetAsync<string>(key);
Console.WriteLine(result);

// delete
await cache.DeleteAsync(key);

// set other type object
cache.Set(key, new DateTime(2022,2,22));
Console.WriteLine(cache.Get<DateTime>(key));

输出结果如下所示:

my cache sync
my cache async
2022/2/22 0:00:00
泛型版本

泛型版本的话性能好,但是它只允许添加一个类型,否则代码将编译不通过:

// create a FasterKvCache<T> 
// only set T type value
var cache = new FasterKvCache<string>("MyTCache",
    new DefaultSystemClock(),
    new FasterKvCacheOptions(),
    new IFasterKvCacheSerializer[]
    {
        new MessagePackFasterKvCacheSerializer
        {
            Name = "MyTCache"
        }
    },
    null);

Microsoft.Extensions.DependencyInjection

当然,我们也可以直接使用依赖注入的方式使用它,用起来也非常简单。按照通用和泛型版本的区别,我们使用不同的扩展方法即可:

var services = new ServiceCollection();
// use AddFasterKvCache
services.AddFasterKvCache(options =>
{
    // use MessagePack serializer
    options.UseMessagePackSerializer();
}, "MyKvCache");

var provider = services.BuildServiceProvider();

// get instance do something
var cache = provider.GetService<FasterKvCache>();

泛型版本需要调用相应的AddFasterKvCache<T>方法:

var services = new ServiceCollection();
// use AddFasterKvCache<string>
services.AddFasterKvCache<string>(options =>
{
    // use MessagePack serializer
    options.UseMessagePackSerializer();
}, "MyKvCache");

var provider = services.BuildServiceProvider();

// get instance do something
var cache = provider.GetService<FasterKvCache<string>>();

配置

FasterKvCache构造函数

public FasterKvCache(
    string name,	// 如果存在多个Cache实例,定义一个名称可以隔离序列化等配置和磁盘文件
    ISystemClock systemClock,	// 当前系统时钟,new DefaultSystemClock()即可
    FasterKvCacheOptions? options,	// FasterKvCache的详细配置,详情见下文
    IEnumerable<IFasterKvCacheSerializer>? serializers,	// 序列化器,可以直接使用MessagePack或SystemTextJson序列化器
    ILoggerFactory? loggerFactory)	// 日志工厂 用于记录FasterKv内部的一些日志信息

FasterKvCacheOptions 配置项

对于FasterKvCache,有着和FasterKv差不多的配置项,更详细的信息大家可以看FasterKv-Settings,下方是FasterKvCache的配置:

  • IndexCount:FasterKv会维护一个hash索引池,IndexCount就是这个索引池的hash槽数量,一个槽为64bit。需要配置为2的次方。如1024(2的10次方)、 2048(2的11次方)、65536(2的16次方) 、131072(2的17次方)。默认槽数量为131072,占用1024kb的内存。
  • MemorySizeBit: FasterKv用来保存Log的内存字节数,配置为2的次方数。默认为24,也就是2的24次方,使用16MB内存。
  • PageSizeBit:FasterKv内存页的大小,配置为2的次方数。默认为20,也就是2的20次方,每页大小为1MB内存。
  • ReadCacheMemorySizeBit:FasterKv读缓存内存字节数,配置为2的次方数,缓存内的都是热点数据,好设置为热点数据所占用的内存数量。默认为20,也就是2的20次方,使用16MB内存。
  • ReadCachePageSizeBit:FasterKv读缓存内存页的大小,配置为2的次方数。默认为20,也就是2的20次方,每页大小为1MB内存。
  • LogPath:FasterKv日志文件的目录,默认会创建两个日志文件,一个以.log结尾,一个以obj.log结尾,分别存放日志信息和Value序列化信息,注意,不要让不同的FasterKvCache使用相同的日志文件,会出现不可预料异常默认为{当前目录}/FasterKvCache/{进程Id}-HLog/{实例名称}.log
  • SerializerName:Value序列化器名称,需要安装序列化Nuget包,如果没有单独指定Name的情况下,可以使用MessagePackSystemTextJson默认无需指定
  • ExpiryKeyScanInterval:由于FasterKv不支持过期删除功能,所以目前的实现是会定期扫描所有的key,将过期的key删除。这里配置的就是扫描间隔。默认为5分钟
  • CustomStore:如果您不想使用自动生成的实例,那么可以自定义的FasterKv实例。默认为null

所以FasterKvCache所占用的内存数量基本就是(IndexCount*64)+(MemorySize)+ReadCacheMemorySize,当然如果Key的数量过多,那么还有加上OverflowBucketCount * 64

容量规划

从上面提到的内容大家可以知道,FasterKvCache所占用的内存字节基本就是(IndexCount * 64)+(MemorySize) + ReadCacheMemorySize + (OverflowBucketCount * 64)。磁盘的话就是保存了所有的数据+对象序列化的数据,由于不同的序列化协议有不同的大小,大家可以先进行测试。

内存数据存储到FasterKv存储引擎,每个key都会额外元数据信息,存储空间占用会有一定的放大,建议在磁盘空间选择上,留有适当余量,按实际存储需求的 1.2 - 1.5倍预估。

如果使用内存存储 100GB 的数据,总的访问QPS不到2W,其中80%的数据都很少访问到。那么可以使用 【32GB内存 + 128GB磁盘】 存储,节省了近 70GB 的内存存储,内存成本可以下降50%+。

性能

目前作者还没有时间将FasterKvCache和其它主流的缓存库进行比对,现在只对FasterKvCache、EasyCaching.FasterKv和EasyCaching.Sqlite做的比较。下面是FasterKVCache的配置,总占用约为2MB。

services.AddFasterKvCache<string>(options =>
{
    options.IndexCount = 1024;
    options.MemorySizeBit = 20;
    options.PageSizeBit = 20;
    options.ReadCacheMemorySizeBit = 20;
    options.ReadCachePageSizeBit = 20;
    // use MessagePack serializer
    options.UseMessagePackSerializer();
}, "MyKvCache");

由于作者笔记本性能不够,使用Sqlite无法在短期内完成100W、1W个Key的性能测试,所以我们在默认设置下将数据集大小设置为1000个Key,设置50%的热点Key。进行读、写和50%读写随机比较。

可以看到无论是读、写还是混合操作FasterKvCache都有着不俗的性能,在8个线程情况下,TPS达到了惊人的1600w/s

缓存类型线程数Mean(us)Error(us)StdDev(us)Gen0Gen1Allocated
fasterKvCacheRead859.953.8542.5491.52597.02NULL
fasterKvCacheWrite863.671.0320.6830.79353.63NULL
fasterKvCacheRandom464.421.3920.9211.7098.38NULL
fasterKvCacheRead464.670.6280.3742.563511.77NULL
fasterKvCacheRandom864.803.6392.1661.09865.33NULL
fasterKvCacheWrite465.573.452.0530.97664.93NULL
fasterKvRead892.1510.6787.0635.7373-26.42 KB
fasterKvWrite499.4921.04610.7422-49.84 KB
fasterKvWrite8108.505.2283.1115.6152-25.93 KB
fasterKvRead4109.371.4760.77210.9863-50.82 KB
fasterKvRandom8119.9414.1759.3765.7373-26.18 KB
fasterKvRandom4124.316.1914.09510.7422-50.34 KB
fasterKvCacheRead1207.773.3071.739.277343.48NULL
fasterKvCacheRandom1208.711.8320.9586.347729.8NULL
fasterKvCacheWrite1211.261.5571.033.41816.13NULL
fasterKvWrite1378.6017.75511.74442.4805-195.8 KB
fasterKvRead1404.5717.47711.5643.457-199.7 KB
fasterKvRandom1441.2214.1079.33142.9688-197.75 KB
sqliteRead87450.11260.279172.15854.68757.8125357.78 KB
sqliteRead414309.94289.113172.047109.37515.625718.9 KB
sqliteRead156973.531,774.351,173.624001002872.18 KB
sqliteRandom8475535.01214,015.71141,558.14--395.15 KB
sqliteRandom41023524.8797,993.1964,816.43--762.46 KB
sqliteWrite81153950.8448,271.4728,725.58--433.7 KB
sqliteWrite42250382.93110,262.7272,931.96--867.7 KB
sqliteWrite14200783.0843,941.6929,064.71--3462.89 KB
sqliteRandom15383716.10195,085.96129,037.28--2692.09 KB

总结

可以看到FasterKvCache有着不俗的性能,目前也在笔者朋友的项目使用上了,反馈不错,解决了他的缓存问题。由于现在还只是1.0.0-rc1版本,还有很多特性没有实现。可能有一些BUG还存在,欢迎大家试用和反馈问题。

Github开源地址:
https://github.com/InCerryGit/FasterKvCache

参考链接

https://developer.aliyun.com/article/740811

分享好友

分享这个小栈给你的朋友们,一起进步吧。

.NET中大型研发必备
创建时间:2022-04-09 00:21:16
本系列文章适合有初/.NET知识的同学阅读(请在电脑上打开页面,获取更好的阅读效果)。 (1)本系列文章,旨在讲述研发一个中大型项目所需要了解的一系列“基本构件”,并提供这些“基本构件”在全网的【简单】、【快速】使用方法!!(并不深究技术原理) (2)通过阅读本系列文章,能让你在“正规”项目研发方面快速入门+进阶,并能达成“小团队构建大网站”的目的。 (3)本系列文章采用的技术,已成功应用到人工智能、产业互联网、社区电商、游戏、金融风控、智慧医疗、等项目上。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • 红色侦察兵
    栈主

小栈成员

查看更多
  • miemieMIA
  • LCR_
戳我,来吐槽~