绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2020SACC专场六:分布式存储(中)(PPT下载)
2020-10-27 14:09:08
VIPKID Redis 多租户平台架构演进之路
演讲简介:

本次分享VIPKID Redis多租户平台架构的演进历程,重点讲述了演进过程中遇到的挑战及解决方案。包括如何设计Redis多租户,如何做租户间资源共享与资源隔离,如何做Redis多租户集群容器化,如何做到激增流量时租户间不互相影响且对业务无损,如何解决Redis多租户集群热点问题,如何做Redis多租户集群故障快速定位,如何做Redis多租户集群故障容灾等一系列实战经验,可作为Redis为企业降本增效的经典范例。
分享大纲:
1、为什么做Redis多租户
1.1、初Redis集群状况
1.2、多租户平台建设的初衷
2、多租户一期方案
2.1、如何实现Redis多租户平台
2.2、如何做到不同租户间资源互不影响
2.3、一期方案存在的问题与挑战
3、多租户二期优化实战
3.1、为什么需要租户间资源资源严格隔离
3.2、如何借助K8S容器化Redis多租户集群
3.3、如何做到激增流量时租户间互不影响且对业务无损
3.4、如何解决大Key热Key等原因导致的Redis集群热点问题
3.5、如何做Redis多租户平台故障容灾
3.6、如何保证容器中Redis节点重启后数据不丢
3.7、多租户共享Key的解决方案
4、收益总结
4.1、降低服务器使用成本
4.2、提升运维效率
4.3、提升系统稳定性

石鹏 VIPKID 基础架构存储平台负责人
嘉宾介绍:

2019年加入 VIPKID,目前任架构专家、基础架构存储平台负责人,负责 VPIKID 存储平台架构设计与研发工作。曾就职于摩托罗拉、爱奇艺,10余年专注于高并发、高可用、分布式存储方向,发表过相关专利20余篇。目前负责 VIPKID 基础架构存储平台,包括 Redis 平台、Kafka 平台、RocketMQ 平台、 ElasticSearch 搜索平台、数据库访问平台、对象存储平台等。

万亿数据库核心存储引擎的实现与应用
演讲简介:

伴随着移动互联网、车联网、物联网的不断发展,不仅仅是人类在产生数据,电脑、汽车、可穿戴设备等各种智能设备都成为了数据生产者,甚至比人类产生的数据规模更为庞大。据IDC发布《数据时代2025》的报告显示,2025年全球每天产生的数据量将达到491EB(1EB=1024PB)。
面对超海量的数据,传统数据库在处理规模和速度上已经捉襟见肘,而大数据领域的产品虽然百花齐放,但基本是解决某一特定问题而生的。实际应用场景中,往往需要多个组件配合使用。因此,对万亿以上规模的数据,进行查询、统计、分析、更新的需求越来越迫切。
本次演讲主题为《万亿数据库核心存储引擎的实现与应用》,是基于录信在大数据领域的一些实践和经验,分析超海量数据检索分析所面临的难点和痛点,以及我们所做的一些尝试和研究,探讨新一代大数据检索分析型数据库的架构实现。具体包含底层存储引擎的实现,查询统计等性能上的优化,针对不同业务场景的实现方案等。

郑其华 录信数软 技术总监
嘉宾介绍:

•毕业于计算机科学与应用专业,10年以上软件开发与维护经验;
•原富士通南大软件技术有限公司工程师,富士通系统监视中间件产品的项目经理,多年项目管理经验;
•负责过华为RTOS(实时嵌入式操作系统)的维护,对Linux内核、系统监视等方面有丰富经验;
•通过日本富士通LifecycleManagement和JobManagement认证考试,并取得Professional资格;
•中汽研主办的《2020汽车企业数字化研讨会》受邀演讲嘉宾。

MarxDB 金融级分布式数据库
演讲简介:

深入浅出介绍 MarxDB 金融级分布式数据库的核心架构,涉及混合逻辑时钟,数据一致性算法,分布式事务的优化方案,事务冲突的解决手段和系统特性。并重点讲解为什么说 MarxDB 是一个金融级的分布式数据库,以及目前主流的分库分表方案存在哪些问题。通过对比 MarxDB 金融级分布式数据库和分布式数据库中间件,探讨我们认为未来分布式数据库领域的方向在哪里。

杨轩嘉 京东零售 架构师
嘉宾介绍:

曾任京东公有云数据库 RDS 团队架构师兼团队负责人,JED 弹性数据库团队架构师,MarxDB 金融级分布式数据库团队架构师兼团队负责人,ETCD 团队架构师;目前主要致力于 ETCD 性能和稳定性的研究工作。

Fastload 大规模离线数据在线化 DTS 服务在滴滴内部的应用实践
演讲简介:

Fastload 是滴滴 KV 服务团队打造的一款 DTS 服务,主要解决的问题是如何将海量的离线数据快速的导入在线的 KV 集群,同时保证低延迟的查询响应。该服务在公司内部运行多年,目前的使用方遍及所有业务线,每天运行上千余次,往线上集群更新上百T的数据。本次分享主要介绍 Fastload 的诞生背景,架构设计,运行流程,实现细节以及一些内部的业务实践。
分享提纲:
a:举例公司内部业务的使用场景,为了解决这些业务痛点,开发了Fastload服务;
b:Fastload的架构与设计,以及如何在海量数据,高速导入,低延迟读取三个方面找到平衡;
c:Fastload的性能优化。
分享要点:
原始的导数据方法就是发送写请求,但是面对几百G或者上T的数据,这种方式非常的慢,而且容易引起线上集群超时严重,出现不稳定情况,在滴滴内部甚至有业务每天需要更新15T的数据,这么大的数据量,常规方式肯定不行。
Fastload 核心思想采用 RocksDB 导入文件的方式,同时利用离线集群的计算能力,将业务数据直接计算成数据库文件。为满足不同的业务需求,设计了全量更新和增量更新两种流程;为提高安全性,提供了多版本策略,随时回滚;为降低延迟,减少毛刺,在多处硬盘 IO 读写地方添加限速机制等等。

王志勇 滴滴出行 基础架构团队、滴滴云研发负责人
嘉宾介绍:

滴滴 KV 服务团队研发,多年分布式存储开发经验,在滴滴内部独立设计开发了 Fastload 服务,同时参与了其他多款存储产品的研发。

vivo 分布式磁盘KV存储的应用
演讲简介:

vivo 内部分布式KV存储的大规模应用,主要方向为将数据量大且容忍一定延迟的业务数据从 Redis 上迁移到KV存储上。本次分享主要介绍vivo内部兼容 Redis 协议的磁盘存储项目的设计和实现。演讲主要分为:
1.系统设计目标
2.整体架构设计
3.请求处理管道
4.功能细节介绍
5.性能测试分析

徐乔伦 vivo互联网 数据库工程师
嘉宾介绍:

2020年1月加入 vivo,在互联网基础平台部-通用存储研发组 任职数据库工程师,主要负责公司内部磁盘存储相关项目的调研,开发工作。


  • 石鹏_Redis多租户平台架构演进之路.pdf

    2110KB
  • 杨轩嘉_MarxDB 金融级分布式数据库.pdf

    3894KB
  • 徐乔伦_vivo 分布式磁盘KV存储的应用.pdf

    10954KB
  • 王志勇_Fastload 大规模离线数据在线化 DTS 服务在滴滴内部的应用实践.pdf

    17400KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

SACC中国系统架构师大会
创建时间:2019-06-18 13:57:01
中国系统架构师大会每年都将邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • SACC官方账户
    栈主
  • gaokeke123
    嘉宾

小栈成员

查看更多
  • 小雨滴
  • 栈栈
  • 老七
  • 韩涵
戳我,来吐槽~