1).主题简介:
Redis作为“扛流量”和“加速”的利器,在百度集团内部有着极其广泛的应用。但由于数据全部存储在内存,Redis成本高昂,为此我们研发了兼容Redis协议、大容量、低成本的高性能分布式KV数据库,简单KV场景下性能为Redis 70%,单GB成本相比Redis降低80%+,目前已应用于凤巢、手百、Feed、地图、度秘等多个核心业务。
本次分享会阐述百度高性能KV数据库的设计与实践。首先会简单介绍百度高性能KV数据库及其应用场景,然后会详细介绍百度高性能KV数据库的内核技术及实践经验,同时会介绍百度Redis内核团队和开源社区的合作,后会介绍下百度高性能KV数据库后续的规划。
2). 分享大纲:
一、 百度高性能KV数据库概述
简介
应用场景
二、百度高性能KV数据库设计与实践
PegaDB设计选型
PegaDB设计与实现
主从复制
集群架构
水平扩缩容
异地多活架构
存算分离架构
PegaDB实践经验
三、开源社区协作
四、未来规划
刘东辉,百度智能云Redis内核团队技术负责人,开源项目Kvrocks Core Team成员。近十年一直专注于分布式缓存、存储方向,先后主导过微博、百度NOSQL数据库研发工作,并在DTCC、SACC等技术大会上做过多次技术分享,具有非常丰富的NOSQL数据库内核研发及优化经验。
十年前,Amazon DynamoDB正式上市,这是一种全托管的可灵活扩展的云原生NoSQL数据库服务,可在任何数据规模上实现个位数毫秒的性能。 在过去10年中,数十万客户采用了DynamoDB。它经常达到性能和可扩展性的新高峰。例如,在去年2021年6月的亚马逊PrimeDay销售中,它在66小时内处理了数万亿个请求,同时保持了个位数毫秒的性能,每秒8920万个请求达到峰值。全球流媒体巨头Disney+每天使用DynamoDB接收内容、元数据和数十亿观众的行为。即使在疫情造成的前所未有的需求期间,DynamoDB也能够帮助客户,在世界各地的许多人不得不改变他们的工作方式和开展业务方式时,DynamoDB仍旧可以成为他们高并发应用的坚实底座。同时,它也是Forbes研究发现初创企业喜欢的亚马逊云服务之一。
分享提纲:
1.Amazon DynamoDB组件;
2.Amazon DynamoDB弹性与底层设计;
3.Amazon DynamoDB设计佳实践;
4.Amazon DynamoDB全球部署与服务集成。
亚马逊云科技数据库解决方案技术专家,负责基于亚马逊云计算数据库产品的技术咨询与解决方案工作,特别专注于从SQL到NoSQL 数据库的设计、测试、迁移、运维及优化等工作。
随着vivo业务的快速发展,业务的非结构化数据越来越多,KV存储面临着巨大成本和性能压力。在此背景下,我们基于TiKV探索并研发了一套兼容Redis协议、运维方便、存储成本大幅降低的KV存储服务。本次分享将介绍vivo KV存储的演进历程、系统架构、设计细节、关键问题解决以及未来规划。
2019年加入vivo互联网部门,数据库方向负责人,先后负责Redis双活、磁盘KV、VSQL和DTS系统的研发。曾就职于网易、腾讯。对分布式系统、数据库存储引擎、编程语言等底层技术有浓厚兴趣。
Apache Pegasus是小米孵化并捐献给Apache的开源项目,一款低成本、高性能、强一致的分布式Key-Value数据库。目标是解决Redis的低容量、高成本和HBase的时延长尾问题。当前广泛应用于小米内部多个业务线,集群个数近100个、总数据量300T+。本次分享主要介绍Apache Pegasus的核心架构、重点功能实现、大数据生态融合方案以及其应用落地的场景。
王伟,2021年加入小米,现负责Apache Pegasus项目规划,以及在小米内部的推广落地工作。曾就职于百度和SHAREit,主要从事分布式存储系统的研发工作。