快手A1是快手2020年春晚红包活动公司内部的代号快手A1百万TPS,单集群千级别机器,是什么架构。高性能低延迟的数据库实战,分库分表,读写分离,列式数据库选择。 基于快手数据库有状态资源调度做为基础服务支撑,多云混合调度,助力多服务引擎mysql、kshard、clickhouse等弹性扩缩容。
10多年数据库系统建设,经历过京东商城mysql从0到1的数据库人肉化和自动化建设之路。 之后,在金山云主要负责公有云数据库RDS服务的开发和维护。2016年参与到快手数据库从0到1的数据库基础能力建设上,当前正在从云数据库向数据库云的开发和运维思维方向上转变。
本主题以数据库平台从1.0到3.0的演进史开始,将介绍三代数据库架构的演化逻辑和未来趋势,重点介绍构建新一代的数据库基础平台的核心要素:RDMA、SSD、计算存储分离、FPGA等,以及如何利用这些核心要素提供高性能、高可靠、弹性伸缩的数据库基础架构。
分享提纲:
1、讲解数据库基础架构从1.0到3.0的演化史和演化逻辑;
2、介绍计算、存储分离的大趋势和分布式的大趋势;
3、深入介绍构建第三代基础平台需要的核心要素,以及这些要素如何协同发挥大效能。
分享要点:
以数据库平台从1.0到3.0的演进史开始,介绍三代数据库架构的演化逻辑和未来趋势。很多时候,一个新架构的出现和成熟,是因为约束其发展的条件没有了,例如分布式存储能够出现和逐渐流行,是因为网络的互联变得越来越快、SSD的出现等。另外,将重点介绍构建新一代的数据库基础平台的核心要素:RDMA、SSD、计算存储分离、FPGA等,以及如何利用这些核心要素提供高性能、高可靠、弹性伸缩的数据库基础架构。本次分享本着挂一漏万的原则,分享笔者认为比较重要的要素,每一个关键要素的出现都可能会对基础架构带来一次彻底变革。
曾就职于东软集团,阿里巴巴集团。在Oracle Open World,DTCC、Oracle技术嘉年华等公开场合做过数据库技术专题分享,组织翻译了《拨云见日,解密Oracle ASM内核》一书。目前就职于沃趣科技,专注于数据库平台级产品的研发。对数据库内核机制、分布式数据库架构设计有兴趣。
现在大规模的深度学习模型和大数据平台如何在线下训练和线上推理方面做有效的结合是个挺值得探讨的方向;
再抽象一下 AI平台与数据平台 如何有效解决业务问题,中间需要考虑的问题有很多,平台的适配、模型训练的效率、线上推理的效率、实时性的问题都需要考虑。
先后在阿里妈妈,百度,360从事搜索广告、分布式存储和广告点击率预估等工作,目前在陌陌负责大数据部门推荐工程相关工作。对分布式存储,高性能服务和推荐整体架构有较深入的实践经验。
携程从2017年开始尝试MySQL容器化,中间经历了容器平台从Mesos到K8S平台的迁移,数据库容器化项目本身也是在曲折中前进。从实验性的单例模式到试图上线生产的主备集群模式,为了兼容已有的数据库管理和运维方案,开发了K8S-MySQL的微服务,并以Sidecar的方式提供MySQL层面的监控服务。之后又借助Ceph分布式块存储服务,将数据库的计算和存储做了分离,基于RBD Snapshot的特性,开发了专门的MySQL-Operator,提供了数据库快照功能,实现了数据库的版本管理,提升了开发测试效率。本次分享主要讲述我们整个MySQL容器化的实践过程,以及期间遇到的问题和解决方案。
携程技术中心系统研发部软件工程师,专注于云计算领域数年,经历了云平台从OpenStack到Kubernetes的演进过程,目前在Cloud Container团队, 主要从事容器云平台的建设,推进各类基础实施服务的云原生化。