绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
架构秘笈:移花接木。使用mysql模拟redis
2019-09-18 05:37:22

原创:小姐姐味道(微信公众号ID:xjjdog),欢迎分享,转载请保留出处。

这年头,你看到的东西未必就是你认为的东西。一个mysql协议的后面,可能是tidb;一个linux机器后面,可能是一个精简的docker;你觉得xjjdog是个女的,但可能ta自己也不太清楚;而当你大呼php万岁的时候,可能是研发人员和你开个玩笑,重写了后缀,而后端用的却是java。

大家都知道redis速度快,但它的容量和内存容量有关,很容易达到瓶颈。有些互联网公司,直接使用redis作为后端数据库(在下佩服)。当业务量暴增,就面临一个redis容量和价格的权衡问题。改业务代码是来不及了,只好用一些持久化存储 ,来模拟redis的一些数据结构。

redis支持近十种数据类型,常用的有5种。string、hash、zset、set、list等。本文将针对几种常见的数据结构,探讨一下常用操作的模拟实现。

其实,我们所需要开发的,就是一个redis代理proxy。redis的客户端,连接上我们的代理之后,会进行协议解析。解析出来的命令,将会被模拟,然后根据配置的路由,定位到相应的mysql中。

也就是你所使用的redis,其实使用mysql来存储数据的。没有rdb,也没有aof。

Redis是文本协议

redis是文本协议,协议名称叫做RESP。RESP 是 Redis 序列化协议的简写。它是一种直观的文本协议,优势在于实现异常简单,解析性能极好。

如图,Redis 协议将传输的结构数据,可以总结为 5 种小单元类型。每个单元结束时,统一加上回车换行符号**\r\n** 。

下面是几个规则:

单行字符串 以 + 开头; 
多行字符串 以 $ 开头,后跟字符串长度; 
整数值 以 : 开头,后跟整数的字符串形式; 
错误消息 以 - 符号开头; 
数组 以 * 号开头,后跟数组的长度;
复制代码

比如,下面这个就是数组[9,9,6]的报文。

*3\r\n:9\r\n:9\r\n:6\r\n
复制代码

所以这个协议的解析和拼装,是非常简单的。拿netty来说,就有codec-redis 模块供我们使用。

实现:数据结构设计

在数据表的设计上,我们发现,kv和hash在效率上没有什么差别,因为它能够直接根据key定位到。

反倒是zset,由于有排序的功能,造成了很多操作的执行效率都不尽人意。

另外,由于我们不同的数据结构,是使用不同的表进行存储的。所以删除操作,要在每张表上都执行一遍。

kv设计

kv,即string,是redis里基本的数据类型。一个key对应一个value,string类型的值大能存储512MB。

设计专用的数据库表rstore_kv,其中,rkey是主键。

rkey        varchar
val     varchar
lastTime    bigint
复制代码

set操作

insert into rstore_kv("rkey","val","lastTime") values($1,$2,$3) 
on duplicate key update set "val"=$2,"lastTime"=$3
复制代码

get操作

select val from rstore_kv where "rkey" = $1
复制代码

del操作

delete from rstore_kv where "rkey" = $1
复制代码

exists操作

select count(*) as n from rstore_kv where  "rkey" = $1
复制代码

ttl操作

select lastTIme from rstore_kv  where  "rkey" = $1
复制代码

hash设计

hash 是一个键值(key=>value)对集合。hash 特别适合用于存储对象。

设计专用的数据库表rstore_hash,其中,rkey和hkey是联合主键。

rkey        varchar
hkey        varchar
val     varchar
lastTime    bigint
复制代码

hset操作

insert into rstore_hash("rkey","hkey","val","lastTime") values($1,$2,$3,$4) 
on duplicate key update set "val"=$3,"lastTime"=$4
复制代码

hget操作

select val from rstore_hash where "rkey" = $1 and "hkey" = $2
复制代码

hgetall操作

select hkey,val from rstore_hash where "rkey" = $1
复制代码

hdel操作

delete from rstore_hash where "rkey" = $1 and "hkey" = $2
复制代码

del操作

delete from rstore_hash where "rkey" = $1
复制代码

hlen,hexists操作

select count(*) as num from rstore_hash where "rkey" = $1
复制代码

ttl操作

select max(lastTIme) from rstore_hash  where  "rkey" = $1
复制代码

zset设计

Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。它的底层结构是跳跃表,效率特别高,但是会占用大量内存。

设计专用的数据库表rstore_zset,其中,rkey和member是联合主键。

rkey        varchar
member        varchar
score     double
lastTime    bigint
复制代码

zadd操作

insert into rstore_zset("rkey","member","score","lastTime") values($1,$2,$3,$4) on duplicate key update update set "score"=$3,"lastTime"=$4
复制代码

zscore操作

select score from rstore_zset where "rkey" = $1 and "member" = $2
复制代码

zrem操作

delete from rstore_zset where "rkey" = $1 and "member" = $2"
复制代码

zcard,exists操作

select count(*) as num from rstore_zset where "rkey" = $1
复制代码

zcount操作

select count(*) as num from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
复制代码

zremrangebyscore操作

delete from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
复制代码

zrangebyscore操作

select member,score from rstore_zset 
where "rkey" = $1 and score>=$2 and score<=$3 order by score asc,member asc
复制代码

zrange操作

select member,score from rstore_zset 
where "rkey" = $1 order by score asc offset $2 limit $3
复制代码

zrank操作

select rank from (select member,rank() over (order by "score" asc, "lastTime" asc) as rank from rstore_zset where "rkey" = $1 ) m where m."member"= $2;
复制代码

ttl操作

select max(lastTIme) from rstore_zset  where  "rkey" = $1
复制代码

del操作

delete from rstore_zset where "rkey" = $1
复制代码

set设计

Redis的Set是string类型的无序集合。

设计专用的数据库表rstore_set,其中,rkey和member是联合主键。

rkey        varchar
member        varchar
lastTime    bigint
复制代码

sadd操作

insert into rstore_set("rkey","member","lastTime") values($1,$2,$3) 
on duplicate key update update set "lastTime"=$3
复制代码

scard操作

select count(*) as num from rstore_set where "rkey" = $1
复制代码

sismember操作

select member from rstore_set where "rkey" = $1 and "member" = $2
复制代码

smembers操作

select member from rstore_set where "rkey" = $1
复制代码

srem操作

delete from rstore_set where "rkey" = $1 and "member" = $2
复制代码

del操作

delete from rstore_set where "rkey" = $1
复制代码

ttl操作

select max(lastTIme) from rstore_set  where  "rkey" = $1
复制代码

End

本篇文章仅仅模拟了常用数据结构的常用功能,有很多很多功能是不支持的,比较明显的就是分布式锁setnx等。所以这个proxy层的开发,要想做到ok,并不是那么简单。

同时,我们以一种模拟的视角,来看一下redis的数据结构,在关系型数据库中的表现形式。这样,更能够加深我们对redis的认识,明白它存在的价值。

作者简介:小姐姐味道 (xjjdog),一个不允许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构,日百亿流量,与你探讨高并发世界,给你不一样的味道。我的个人微信xjjdog0,欢迎添加好友,​进一步交流。​

近期热门文章​

《必看!java后端,亮剑诛仙》 后端技术索引,中肯火爆

《学完这100多技术,能当架构师么?(非广告)》 精准点评100多框架,帮你选型

《Linux上,常用的一批命令解析(10年精选)》 CSDN发布首日,1k赞。点赞率1/8。

《这次要是讲不明白Spring Cloud核心组件,那我就白编这故事了》 用故事讲解核心组件,包你满意

《Linux生产环境上,常用的一套“Sed“技巧》 常用系列Sed篇,简单易懂。Vim篇更加易懂。

分享好友

分享这个小栈给你的朋友们,一起进步吧。

向阳花小姐姐技术圈
创建时间:2020-07-08 10:09:23
作为了一个小姐姐来分享技术文章,欢迎大家来看~
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • llittle
    栈主

小栈成员

查看更多
  • 小雨滴
  • Pantj
戳我,来吐槽~