9月16日,Distributed Cloud|2021全球分布式云大会·上海站隆重召开。在全球分布式云大会不懈布道下,云计算行业对分布式云的关注度愈发高涨,以全球分布式云联盟成员为代表,涌现出了大量分布式云技术和实践成果,为分布式云计算发展夯实了基础。
2021全球分布式云大会为分布式云计算发展再添强大推力,本次大会共设有分布式云主题报告会、边缘云论坛、云原生专题论坛、分布式数据库论坛四大论坛,围绕分布式云、边缘算力、云原生、分布式架构等技术与实践展开。全球分布式云联盟联合阿里云、腾讯云、Google Cloud、中兴通讯、京东云、安迈云、网心科技等国内外分布式云技术服务商,共话分布式云创新新趋势,共谋云计算变革新未来,共享分布式云计算新红利!
在9月16日下午召开的分布式云数据库上,京东云数据库中间件产品负责人、StarDB架构师 徐力权出席分布式数据库论坛,发表以《京东云自研分布式数据库StarDB应用实战》为主题的技术实践分享,同时京东云分布式数据库StarDB凭借领先的设计架构与实践应用成果,荣获“年度佳国产分布式数据库”。
StarDB发展历程
自2015年开始,StarDB先是以分布式数据库中间件为基础,结合mega自动化运维平台,DTS数据传输服务,CleverDB智能分析平台完成了初版。2017年,京东云团队将以上产品在内部进行推广应用,包括京东内部主要的支付、交易、保险等业务,包括帐务、会员,通过StarDB完成数据架构升级。2018年,对DBCM数据建模进了扩展,将自动化运维整体融合。2019年,拥抱开源生态开始驾驭海量数据库。2020年,进行场景融合,一体化、产品化功能开始科技赋能。2021年,国产分布式数据库StarDB正式发布,进入服务化、云原生时代。
从生产运行情况看,目前StarDB在京东内部总记录行数在30万亿级以上,单集群并发量60万每秒,总读写峰值400万每秒,覆盖将近98%的业务,应用包括交易平台、支付核心、风控、资管系统等。
StarDB产品赋能方面,徐力权表示,京东云与城市商业银行、互联网银行,包括智能城市等领域的多业务进行了深度融合。未来StarDB也会以云原生的方式,和这些金融行业客户,包括其他的行业去做深入交流。
资质认证方面, StarDB获得过非金融机构支付服务业务系统检测及认证、ISO27001信息安全管理体系认证、可信云服务认证(云主机)、可信云服务认证(云数据库)、信通院分布式数据库三项评测、信息安全等级保护三级、四级认证等等。
StarDB内核架构分解
StarDB提供三种访问模式。一是代理方式,二是客户端方式,三是云原生的方式。StarDB核心模块分为存储引擎、计算引擎和一体化管控平台。其中数据核心服务包括数据网关、数据操作、数据复制等。计算引擎提供了灵活分片算法、分布式事务、读写分离、查询优化等计算能力。在存储上,StarDB目前基于MySQL数据库进行了源码优化,包括多线程分组强一致同步、线程池优化等。安全合规层面,StarDB有完整的加解密算法、数据库审计系统,以及底层的安全技术基础。StarDB对性能的分析包括完整的空间分析、会话分析、锁分析、慢查询分析等功能。
在运维生态方面,京东云团队有着丰富的经验,会不定期做容灾切换演练,全局统一备份策略定时备份的,同时支持用户自定义备份,针对备份集进行恢复数据的验证。个别节点发生异常故障时,自动切换模型,可以覆盖大部分的异常场景,不需要人工的干预,在业务无感知的情况下实现自动切换。业务发生容量瓶颈时,可以做到一键扩容,当然这些智能化运维管理离不开全局调度和数据迁移服务。StarDB可以适配各种基础资源,像目前流行的Docker、物理机、虚机等等。
服务架构方面,StarDB兼容标准SQL协议,业务应用可以通过多种访问模式像使用一个数据库一样访问一套StarDB分布式数据库集群。StarDB核心层包含数据配置中心、计算节点和MySQL存储节点构建分布式集群、管控中心集成了全生命周期管理和生态工具等。
StarDB的实践应用
从传统的业务应用对接数据库到StarDB时代,业务建模、变更、测试、上线,升级迭代,再到扩缩容,数据库的生命周期管理非常清晰。任何分布式数据库,如果自动化技术跟不上会导致运维成本大幅提升。
一站式数据服务
使用数据库时常遇到的弹性伸缩需求,往往存在一些痛点。
一是资源浪费。通常业务在使用的时候,并不知道自己业务未来能发展成什么样子,所以他上来之后就开发,申请一大堆资源,然后DBA的同学没办法拒绝。但是在使用过程中,他发现使用率只有30%、40%,这时候如果这个弹性方案没那么完善的话,运维成本就非常高。
二是扩缩容难。对百亿级数据进行扩缩容,迁移数据过程周期长,其次是对扩容业务的数据库切换,存在高风险。而StarDB则形成了能根据业务流量进行动态扩缩容的机制,进行一键配置操作,让用户简单、快速做到数据迁移。
一键扩缩容
数据迁移周期图
对于数据迁移周期, StarDB的迁移方案所体现的效果非常明显,首先在进行数据库申请时,申请时间从以前两到三年的量变为现在半年的量同时,资源使用率也可提高到50%以上。
StarDB的操作过程都可在页面进行操作迁移,然后自动化创建,自动化销毁整个过程。在数据迁移完成后,系统会自动发送应用事件,应用能够自动切换到扩容后的数据库。整个迁移过程中,StarDB团队也会不间断地对数据进行抽样比对,包括迁移过程中数据是否一致。后,在切换前StarDB团队会进行业务的数据校验,以确保数据万无一失。
该方案的全部过程,已在京东集团内部做过大量实践,目前非常稳定,该方案已经成为科技内部主要的应用扩缩容方案。发展至今,京东云StarDB在京东体系内部,经过严苛的实战检验,支撑了京东支付、京东保险、京东客服、京东机器人等多个核心业务,支持了15次京东618、11.11和6次大规模安全合规检测。
StarDB未来发展方向
伴随京东云对外开放京东体系的科技能力,京东云StarDB已开始赋能传统金融机构,以国产自研的科技产品推进产业数字化进程。截至目前,StarDB已服务全球多家金融机构,包括清算机构、互联网银行、城市商业银行等,构建大规模数据库运维体系和跨机房的业务双活架构,建立完善的数据库运维管控体系,满足监管合规需求,在交易支付、风控、保险、账务清算、资产管理、企业征信等多类金融业务场景,以卓越性能稳定支撑业务发展。
京东云StarDB已经入驻云舰PaaS开放平台,实现一次适配多云落地,在金融、政企场景深度服务客户,未来将在更多场景完成规模化复制落地,助力产业打造坚实的数字基座,实现数据库在产业数字化中的核心支撑作用。
来源 https://zhuanlan.zhihu.com/p/414024422