近年来,从国家到地方都在积极探索政府数字化转型之路。当前,数字政府改革建设任务已经从“从无到有”的探索时期,逐渐转变为“量变带来质变”的优化时期。 从建设内容看,一体化政务服务平台相关建设目前已进入了平台互联互通和提质增效的深化建设阶段。
本文是腾讯云数据库工程师余超在《腾讯数字政务云端系列直播》的演讲实录,将带大家共同探索数字政务行业发展趋势、前沿技术和TDSQL技术实践,感受分布式数据库的技术之美。
数字政务行业发展趋势
大家好,我是腾讯云国产数据库产品中心的余超,目前主要负责政务行业、国大行等重大项目数据库方案设计和产品交付工作。
我们先来分析政务行业的发展趋势。先看一组数据,截至2019年12月,31个省级政府构建了覆盖省、市、县三级以上政务服务平台。29个省级政务服务平台开通了“一件事”集成服务专区。中国在线政务服务,用户规模正在不断扩大,用户规模达到6.96亿,占整个网民比例的76.8%。
目前,已开通29个省级小程序,12+部委开通官方小程序,范围政务小程序已有6万个。其中,在省级行政许可事项中,98%事项实现网上可查,82%事项实现网上受理和“多跑一次”。
当前主要业务需求挑战
上面的数据表明我们的政府正在全面进行以人民为中心的发展理念,所有的职能法规都围绕两个重心:一是民生,进一步提高人民群众的获得感和幸福感;二是效率,加快建设服务型政府,提高政府的办事效率。我们在“十四五”的规划里面,也可以看到这些关键字,比如一网通办、异地可办、跨区通办、一本账、自主可控。
为了实现这些目标我们政府部门提出了新的业务需求,首先通过建设“一体化政务服务平台”,从业务角度整合跨部门的业务流程和数据,连通不同的应用系统,实现一网通办。通过提供“线上政务服务”,尽可能的把线下服务搬到线上,让企业和个人足不出户,通过一系列的线上服务来办理各种手续。通过“业务向省、市或者部级集中”的方式,来实现跨区域办理。建设性或部级统筹平台,建立覆盖全民、城乡统筹、公平高效的资源规划体系。后采用国产化软硬件替换核心应用的方式,真正实现业务系统的自主可控。
为了满足这些业务需求,也对信息系统提出了更高的技术要求,不管是一体化平台还是业务集中,都需要把我们的业务进行整合,把数据进行集中,但是这样带来的结果是大量的数据和业务压力,而传统的集中式采购在应对这些高并发数据场景,要么采用比较昂贵以及封闭的小机,要么垂直扩容,扩CP、扩内存,但是单机的扩存能力有限。
所以在做架构设计和系统开发的时候也会遇到一些挑战,比如相比集中式数据库,分布式数据库在使用中有哪些佳实践?在什么样的情况下要采用分布式数据库,每个分库能放多少数据、能处理多少业务?作为系统核心的数据库,我们要怎么做高可靠设计?同时如何保证数据同步的实时性以及异构系统之间怎么迁移应用和数据?这都是我们需要面对的问题。
TDSQL行业解决方案
国产化的大趋势下,也涌现出很多的国产分布式数据库,在面对众多数据库产品的时候,客户怎样选择一款适合自己的数据库产品呢?
以往传统的集中式数据库都是技术来支撑业务,常常都是传统厂商引领技术方向,但在互联网时代,海量数据高并发的访问需求,集中式已经无法满足这个需求。反而往往因为业务而驱动对分布式数据库的需求,我们会发现分布式技术用得好的地方往往是互联网企业,尤其是中国互联网发展比较好的地方。
而如果要全面实现“一网通办”和异地可办,顺应政府数字化转型,还需考虑网上政务服务平台具有用户访问弹性大、峰值访问并发高、读写数据量大、系统可用性要求高等特点。 腾讯云企业级分布式数据库TDSQL因其良好的弹性扩展能力、超高的性能、超大数据量、5个9以上可用性等特点,也赢得了各地政府信息中心的青睐和使用。
关于数据库的高可用,政务行业有些业务对高可用有更多的需求,在数据库的高可用方面,TDSQL具备以下能力:
提供多项不同维度的监控指标,全方位监控不同组件的运行状态,同时还能根据业务情况,自定义监控规则,尽早发现高可用隐患,及时处理。
同时也提供自动化处理能力,比如自动检测异常,能主动发现异常,确定故障后,TDSQL能自动化的处理,能快速实现主动切换,而且能够自动更新路由,整个过程不需要人为干预。
另外TDSQL能够在每个部件里面都有冗余设计,避免任何单点故障。拥有多层级的高可用设计,比如进程级保护,软件进程异常中断后,有守护进程检测,并尝试拉起。磁盘RAID+数据多副本,确保数据的可靠;一主多从多副本,部署在不同机架的不同服务器上,应对服务器和机架机故障;多地多中心部署,可以应对机房级事故,以及区域级的灾难事件,如地震、水灾等。
特别是对于提供公共服务的业务,面向一个省,甚至的公众,提供7*24小时服务,要求业务在1小时内恢复服务,数据库的RTO需要控制分钟级。而对于一些计费类的金融服务,如医疗保险、养老保险等,要求同城RPO为0,数据0丢失。TDSQL能保证在1分钟之内完成故障切换,确保RTO在分钟级,另外采用强同步复制之类的技术,来保证主从数据完全一致。
政务行业创新实践案例
接下来分享TDSQL在政务行业的几个典型案例:
第七次人口普查
第七次人口普查采取电子化方式开展普查登记,实现了5个: 全面采用电子化,实时及时上报数据、实现普查对象通过互联网自主填报、利用行政大数据进行比对核查、实现利用互联网云计算云服务实时处理工作、用信息化系统对700多万普查员进行线上管理。
在整个统计过程中,700万普查员使用企业微信小程序进行数据采集,约一亿人使用微信自主填报小程序进行信息录入,海量数据全部实时入库。与此同时,为了便于应对数据采集出现问题能够在第二天及时补充采集、修正,系统同时需要快速完成对入库数据的实时查询分析。
据新华网统计报道,电子采集的方式将登记时间缩小到了20分钟以内,很大程度上降低了后期数据录入、处理的难度。700多万G端混合负载业务、亿级C端OLTP业务、海量的数据分析任务...本次人口普查项目,TDSQL提供了“OLTP+OLAP”双引擎融合的企业级分布式数据库管理系统TDSQL,平稳、高效支撑第七次人口普查工作顺利完成。
在这些庞大的数据中,不乏多张超级大表关联高并发统计查询,其每张表中存放超过20亿+条记录。如果把其中存放一张超级表的空间用来存放平均50万字的书籍,可以放下超过1000万本,一个人终其一生也读不完。
规模浩瀚的人口普查工作,系统业务架构复杂、并发度高,在灾备设计、高可用能力保障上,整个数据库采用了一主三从、强同步复制和异地灾备的备份方案,在某个数据节点出现故障时,都能保证数据的完整和一致。哪怕出现大规模的突发情况,通过异地灾备,也能够进行数据恢复。
数字广东
数字广东是在2017年广东省在率先启动数字政府的改革,所以数字广东是在2017年7月开始建设和运营,到现在是一个两地三中心的省级政务平台和数据库应用平台。
整个规模非常庞大,整个数据里面用到腾讯多个数据库场景,关系数据库主要为TDSQL、事务性和分析型,而MySQL和TDSQL有超过一万个核,数据的存储量已经超过1.3TB,分析型的CPU也是超过了两万七千核,数据的储存量已经超过了420T。里面覆盖了多种政务场景,比如基于高并发应用的粤省事,基于分析型应用的政务大数据中心,workflow应用广东政务服务网,综合型应用粤商通、粤政易。
江苏人社一体化信息平台
江苏省是人口大省,江苏省人力资源和社会保障厅(下文简称“江苏人社”)要服务近8000万常住人口、近300万家企事业单位。在信息一体化进程上,江苏选择了腾讯云数据库TDSQL为底座,打造“智慧人社”的标杆案例。江苏人社一体化信息平台,是人力资源和社会保障部leaf6.2框架省级试点。
平台采用腾讯开放技术框架建设,结合云底座、技术中台和数据库等近30项产品,打造了服务全省的业务经办、行政审批和公共服务平台。还涵盖就业创业、社会保险、人才人事、劳动关系四大业务板块,为人民群众提供全面且便捷的暖心服务。
这是江苏省全省一体化项目,不仅纵贯全省、市、县、乡、村五级人社部门,还涵盖多个业务类别。不同于常规理解的政府系统,人社系统中因为有一部分涉及社会保险、账目和养老金发放的问题,该系统被定义为一个“金融级”系统,所以对系统的稳定性、一致性、性能要求特别高,复杂程度超出一般的政务系统。
腾讯云为江苏人社提供了集中部署、统一管理、分层维护的大数据平台,并基于企业级分布式数据库TDSQL为人事系统、调度指挥、公共服务小程序、一体化档案系统等关键业务系统构建高性能可扩展、易运维的系统应用创新。
为确保数据安全和系统稳定可靠,TDSQL提供了高可用多活的灾备服务。通过对TB级系统数据的管理,大数据分析、开放共享、数据应用开发等,为省人社信息化建设提供多维度的数据服务支撑,实现金融级标准要求,极大提升了江苏省人社政务办公和服务的水平,为公众办理相关社保业务提供极大的便利。
再介绍几个非政务行业的典型案例:
张家港农商行
张家港农商行新一代核心系统的国产化替换,张家港农商行的核心业务开始跑在IBM的小型机上,是一个集中式架构。随着业务的发展,原来的系统在性能和可用上已经没办法满足业务需求,所以他们当时要做改造,应用层和数据库要改造。数据库选用的时候开始是在Oracle 和国产分布式数据库做选择,经过多番对比测试终选择了TDSQL。在上线的时候为了稳健,设计师用TDSQL支撑业务的同时,还搭了Oracle 的环境做备用,通过同步工具将TDSQL的数据同步到Oracle 里面去。
平安银行
2020年10月30日,平安银行的信用卡“A+”新核心系统成功投产,它的底层是基于TDSQL、X86的云架构,这个核心系统的活跃的卡数量已经超过六千万,A+新核心系统是业界个将金融机构核心业务系统由大型机集中式架构迁移到PC服务器分布式架构的成功案例。以TDSQL为核心的新一代信用卡“A+”系统,它的处理能力相比以前来说提升了10倍,它的成本也降为原来的1/3。
目前,TDSQL已经在政务行业多个领域应用实践,而在未来,TDSQL也将持续助力各地各部门数字化转型。
来源 https://mp.weixin.qq.com/s/s7KvRX5eN6A-A-pNHEp89w