本次演讲介绍金融行业的分布式数据库选型及实战,包括:
1)分布式数据库的整体发展状况
2)主流分布式数据库的架构特点比较、选型考虑
3)从Oracle数据库往分布式数据库迁移
4)迁移分布式数据库前使用数据库画像脚本识别表膨胀思路
5)迁移分布式数据库前使用数据库画像脚本进行”数据库减负”
6)分布式数据库集群设计
7)分布式数据库优化实战
曾任oracle wdp ocm讲师、DB2china性能调优版版主;给花旗总行、上海中行、光大总行、兴业总行、深圳工行、东莞农商行提供过高质量的数据库培训,目前在太平洋保险数智研究院牵头去o工作。
分布式数据库技术自2010年以来呈现蓬勃发展的趋势,目前正处于增长期,是未来支撑核心、关键业务系统的主流数据库技术,也是实现跨云部署的关键技术。
分布式数据库1.0技术时代多以开源MySQL、PostgreSQL辅以分库分表中间件来实现,但存在对应用侵入性强、不透明,基于单机HA的可靠性差,跨节点的查询、事务能力弱,跨DC的两地三中心能力不足等缺陷。
而易鲸捷分布式数据库2.0技术采用去中心化架构,应用透明,通过分布式一致性协议进行多副本存储,并保证事务的ACID特性,支持多层次高可用和多种跨数据中心多活的容灾部署方案。因此更适合诸如银行核心类关键业务的应用支撑,满足系统在数据一致性、稳定性、可靠性、高可用、可扩展等方面的需求,能够大程度的保证金融关键数据的安全稳定。
易鲸捷分布式数据库是少数可以支撑银行核心系统的数据库产品,我们在进行核心系统落地实施的过程中,遇到了许多计划内和计划外的问题,结合实际需求,本次将从数据分片、容量估算、副本设置、全栈适配、业务连续方案、性能优化、日常运维等多个方面进行分享。
易鲸捷数据库解决方案专家,15年以上国产数据库从业经验,熟悉国内外众多数据库产品,深入了解银行核心系统和运营商BOSS/CRM系统数据层建设方案,具备多年金融行业、运营商行业数据库项目经验,熟悉金融业务特性,具备丰富的数据库分布式改造实践经验。
Oracle数据库经过几十年的发展,其功能黏性强、系统稳定性高、软硬适配能力强,工商银行各存量业务系统,特别是大型业务系统广泛大量的使用存储过程及Oracle数据库的各种特性,服务连续性要求高,应用迁移复杂度高、技术难度大、转型工作量巨大。2021年,工商银行立足自身科技能力,并通过联合创新,探索出了一套无需整体重构Oracle存储过程逻辑,低成本、高效可控的转型技术方案。
本次分享,聚焦大型业务系统Oracle数据库原位替换转型实践,围绕系统性能容量提升、高可用部署方案、成本可控的Oracle对象迁移、自动化测试和双规并行阶段方案设计等方面展开介绍,分享转型过程中面临的各种问题和解决方案,供同行参考。
演讲内容重点提纲:
1)工商银行传统商业集中式数据库使用情况介绍
2)工商银行传统商业集中式数据库转型面临的主要难点和痛点
3)创新型数据库产品部署架构优化简介
4)自动化迁移实践及经验分享
5)自动化测试实践及经验分享
6)新旧系统平滑切换实践及经验分享
现任中国工商银行软件开发中心数据库技术研究及实施团队负责人。
俄乌战争,各大科技公司联手制裁俄罗斯。中美竞争,贸易战科技战持续不断。在科技有国界的大环境下,金融行业软硬件技术的全面自主可控改造成了当务之急。数据库作为生产环境重要的组件,是自主可控的重中之重,也是这项工作中难处理的环节。金融行业现在的系统绝大多数还是运行在oracle,db2等国外商业数据库上,需要迁移到开源或者国产的数据库才能实现自主可控的目标。然而不同数据库的特性有差别,SQL语法也有很多差异,因此在迁移数据库的过程中不仅涉及数据的迁移,还包括应用的适配改造等。
本次通过对民生银行的数据库自主可控改造迁移实践案例分享,介绍如何做好数据库自主可控过程中在技术选型,方案评估,迁移规划,改造上线等各个环节的工作。
演讲内容重点提纲:
1. 选型评估
(选型需要考虑什么?
介绍自主可控的背景,选型思路,评价标准等。
介绍民生银行的选型情况。)
2. 应用改造
(怎么开展应用改造?
了解源和目标数据库有什么区别:技术对比,迁移手册
工作量评估: 代码扫描 + 转换平台
技术支持:开发指南,开发规范,自助服务等)
3. 迁移上线
(如何平顺的迁移上线?
迁移内容:对象迁移,数据迁移
迁移方案:离线迁移,在线迁移,并行运行
迁移工具,比对工具,数据回放工具)
4. 持续运维
(容灾架构,数据库管理平台dbpaas,云原生,智能运维等)
民生银行数据库专家,具有丰富的数据库环境问题诊断和性能调优的经验。尤其是在数据库架构包括同城双活、集群、多分区、分布式等项目咨询和实施上具有丰富的经验。现工作致力于数据库国产化推进建设和智能运维(AIOps)。建设了民生银行基础软件智能运维平台,实现基础软硬件的产品深度智能运维,引导传统运维向智能运维发展。同时也是国产开源数据库openGauss社区贡献者,主导openGauss-operator仓库更新。