本次分享VIPKID Redis多租户平台架构的演进历程,重点讲述了演进过程中遇到的挑战及解决方案。包括如何设计Redis多租户,如何做租户间资源共享与资源隔离,如何做Redis多租户集群容器化,如何做到激增流量时租户间不互相影响且对业务无损,如何解决Redis多租户集群热点问题,如何做Redis多租户集群故障快速定位,如何做Redis多租户集群故障容灾等一系列实战经验,可作为Redis为企业降本增效的经典范例。
分享大纲:
1、为什么做Redis多租户
1.1、初Redis集群状况
1.2、多租户平台建设的初衷
2、多租户一期方案
2.1、如何实现Redis多租户平台
2.2、如何做到不同租户间资源互不影响
2.3、一期方案存在的问题与挑战
3、多租户二期优化实战
3.1、为什么需要租户间资源资源严格隔离
3.2、如何借助K8S容器化Redis多租户集群
3.3、如何做到激增流量时租户间互不影响且对业务无损
3.4、如何解决大Key热Key等原因导致的Redis集群热点问题
3.5、如何做Redis多租户平台故障容灾
3.6、如何保证容器中Redis节点重启后数据不丢
3.7、多租户共享Key的解决方案
4、收益总结
4.1、降低服务器使用成本
4.2、提升运维效率
4.3、提升系统稳定性
2019年加入 VIPKID,目前任架构专家、基础架构存储平台负责人,负责 VPIKID 存储平台架构设计与研发工作。曾就职于摩托罗拉、爱奇艺,10余年专注于高并发、高可用、分布式存储方向,发表过相关专利20余篇。目前负责 VIPKID 基础架构存储平台,包括 Redis 平台、Kafka 平台、RocketMQ 平台、 ElasticSearch 搜索平台、数据库访问平台、对象存储平台等。
伴随着移动互联网、车联网、物联网的不断发展,不仅仅是人类在产生数据,电脑、汽车、可穿戴设备等各种智能设备都成为了数据生产者,甚至比人类产生的数据规模更为庞大。据IDC发布《数据时代2025》的报告显示,2025年全球每天产生的数据量将达到491EB(1EB=1024PB)。
面对超海量的数据,传统数据库在处理规模和速度上已经捉襟见肘,而大数据领域的产品虽然百花齐放,但基本是解决某一特定问题而生的。实际应用场景中,往往需要多个组件配合使用。因此,对万亿以上规模的数据,进行查询、统计、分析、更新的需求越来越迫切。
本次演讲主题为《万亿数据库核心存储引擎的实现与应用》,是基于录信在大数据领域的一些实践和经验,分析超海量数据检索分析所面临的难点和痛点,以及我们所做的一些尝试和研究,探讨新一代大数据检索分析型数据库的架构实现。具体包含底层存储引擎的实现,查询统计等性能上的优化,针对不同业务场景的实现方案等。
•毕业于计算机科学与应用专业,10年以上软件开发与维护经验;
•原富士通南大软件技术有限公司工程师,富士通系统监视中间件产品的项目经理,多年项目管理经验;
•负责过华为RTOS(实时嵌入式操作系统)的维护,对Linux内核、系统监视等方面有丰富经验;
•通过日本富士通LifecycleManagement和JobManagement认证考试,并取得Professional资格;
•中汽研主办的《2020汽车企业数字化研讨会》受邀演讲嘉宾。
深入浅出介绍 MarxDB 金融级分布式数据库的核心架构,涉及混合逻辑时钟,数据一致性算法,分布式事务的优化方案,事务冲突的解决手段和系统特性。并重点讲解为什么说 MarxDB 是一个金融级的分布式数据库,以及目前主流的分库分表方案存在哪些问题。通过对比 MarxDB 金融级分布式数据库和分布式数据库中间件,探讨我们认为未来分布式数据库领域的方向在哪里。
曾任京东公有云数据库 RDS 团队架构师兼团队负责人,JED 弹性数据库团队架构师,MarxDB 金融级分布式数据库团队架构师兼团队负责人,ETCD 团队架构师;目前主要致力于 ETCD 性能和稳定性的研究工作。
Fastload 是滴滴 KV 服务团队打造的一款 DTS 服务,主要解决的问题是如何将海量的离线数据快速的导入在线的 KV 集群,同时保证低延迟的查询响应。该服务在公司内部运行多年,目前的使用方遍及所有业务线,每天运行上千余次,往线上集群更新上百T的数据。本次分享主要介绍 Fastload 的诞生背景,架构设计,运行流程,实现细节以及一些内部的业务实践。
分享提纲:
a:举例公司内部业务的使用场景,为了解决这些业务痛点,开发了Fastload服务;
b:Fastload的架构与设计,以及如何在海量数据,高速导入,低延迟读取三个方面找到平衡;
c:Fastload的性能优化。
分享要点:
原始的导数据方法就是发送写请求,但是面对几百G或者上T的数据,这种方式非常的慢,而且容易引起线上集群超时严重,出现不稳定情况,在滴滴内部甚至有业务每天需要更新15T的数据,这么大的数据量,常规方式肯定不行。
Fastload 核心思想采用 RocksDB 导入文件的方式,同时利用离线集群的计算能力,将业务数据直接计算成数据库文件。为满足不同的业务需求,设计了全量更新和增量更新两种流程;为提高安全性,提供了多版本策略,随时回滚;为降低延迟,减少毛刺,在多处硬盘 IO 读写地方添加限速机制等等。
滴滴 KV 服务团队研发,多年分布式存储开发经验,在滴滴内部独立设计开发了 Fastload 服务,同时参与了其他多款存储产品的研发。
vivo 内部分布式KV存储的大规模应用,主要方向为将数据量大且容忍一定延迟的业务数据从 Redis 上迁移到KV存储上。本次分享主要介绍vivo内部兼容 Redis 协议的磁盘存储项目的设计和实现。演讲主要分为:
1.系统设计目标
2.整体架构设计
3.请求处理管道
4.功能细节介绍
5.性能测试分析
2020年1月加入 vivo,在互联网基础平台部-通用存储研发组 任职数据库工程师,主要负责公司内部磁盘存储相关项目的调研,开发工作。