绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2020DTCC大会 专场7 金融行业数据库技术实践(下)PPT
2020-12-28 10:46:55

工商银行核心应用MySQL治理实践

演讲简介:

2014年,工商银行开始推广使用MySQL。到了今天,生产环境的MySQL节点数量已经发展到近万个;应用场景也从外围低等级应用,推广到核心高等级应用。此次与大家分享,为承接核心业务数据存储的重担,工商银行在MySQL应用治理方面的思路和方案。

林镇熙 中国工商银行 软件开发中心系统一部经理
嘉宾介绍:

工商银行小兵一枚,2014年开始接触MySQL,将MySQL 5.5、5.7版本引入工行。负责MySQL架构设计,开发规范,以及相关技术培训工作。

易鲸捷国产分布式数据库银行核心交易系统落地实践

演讲简介:

当前,以5G、人工智能、数据中心为代表的新基建和数据要素备受瞩目,而在新冠肺炎疫情下的产业发展模式和市场结构变化被数字化、网络化、智能化以及国际形势更加深刻的影响,当前银行核心交易系统主要是被少数几家厂商垄断,如何突破重围,构建基于分布式数据库的银行佳实践,成为易鲸捷公司努力的方向,本次演讲主要介绍易鲸捷公司在银行核心交易系统商用的心路历程。

刘伯宇 易鲸捷 售前总监
嘉宾介绍:

2017年至今在易鲸捷公司担任售前总监及首席解决方案架构师职位,参与并主导两家银行核心交易系统方案规划与编写。多年来一直从事国产数据库行业,深耕国内数据库市场,对数据库技术发展方向有深刻理解。

百亿级数据如何实现秒级复杂查询

演讲简介:

HBase是Hadoop开源体系核心的技术组件,已经在很多企业得到了广泛应用,但K/V存储方式限制了海量数据的使用模式,因此业界不断推出新的索引技术,丰富HBase的交互模式。Pharos V0.3版本是基于HBase的查询解决方案,突破了前续版本仅限于二级索引的思路,提供了更为丰富的查询优化手段。本次分享将以具体银行业务场景为例,介绍基于Pharos的整体解决方案,并对其中的关键技术实现原理进行具体说明。其中包括,通过特定的时间线分区方式,解决访问热点集中造成性能下降,同时保留HBase主键查询的高性能优势;引入“逻辑桶”,优雅实现“数据索引同分布”,彻底解决同类方案在Region分裂时出现的可用性问题;增加“布隆索引”,缩小海量数据下高选择性查询的扫描范围,大幅提升查询性能。分享提纲:a. 介绍Pharos的定位、发展历程,简述新版本的重要改进;b. 介绍银行传票查询业务的主要痛点和基于Pharos的整体解决方案;c. 结合HBase Region分裂机制,介绍 “逻辑桶”的设计思路、原理;d. 介绍Bloom Filter原理以及Bloom Index的设计思路,讲解如何提升“高选择性”数据查询性能。分享要点:1、引入“逻辑桶”,优雅实现“数据索引同分布”本地化索引的重要前提是“数据索引同分布”,但HBase的Region分裂机制会破坏这一前提。以往的同类技术大多是在分裂时点重新维护索引主键,以重新达到同分布的效果,但I/O开销大且有一定的时间延迟,显得较为笨重并影响系统的可用性。Pharos引入“逻辑桶”概念,通过动态调整“逻辑桶”与Region的关系,维持“逻辑桶”内部数据索引稳定性,避免了大量索引主键变更操作,优雅兼容Region分裂。2、增加Bloom Index,提升“高选择性”数据的查询性能海量数据下,在返回记录数量相同的情况下,高选择性查询要扫描更大范围的数据。在百亿级别数据下,即使索引也是海量数据,扫描成本总体依旧较高,直接查询难以满足低延时需求。通过Bloom Filter用少量空间键存储数据位置,可以避免大量的I/O扫描,显著提升响应速度。

王磊 光大银行 架构师
嘉宾介绍:

光大银行领域架构师,Pharos主要架构设计与开发者,曾任职IBM全球资讯服务部从事技术咨询工作,具有十余年数据领域研发及咨询经验。目前负责光大银行数据领域相关系统的日常架构设计、评审及内部研发等工作,对分布式数据库、Hadoop基础架构等方向有浓厚兴趣。

银联分布式存储引擎LAMOST

演讲简介:

此次分享主要介绍了银联分布式关系型数据库服务UPDRDB(DRDS for MySQL)的关键部分LAMOST分布式存储引擎的开发演进历程。UPDRDB是一种设计用于高性能、低成本和高兼容性的联机分布式数据库,采用中间件与分布式存储引擎结合的新型分布式架构,且能够为业务系统提供在线不停机的弹性扩缩容服务。分布式存储引擎LAMOST帮助UPDRDB实现了对复杂DML语句、DDL语句的全面支持,是实现高兼容性的主要环节。由于业界的相关资料较为匮乏,在MySQL存储引擎开发过程中难免经历各种磕磕碰碰,本次分享将从系统架构、接口实现、调用逻辑、重点问题等几个方面进行介绍和总结。

裴晨光 中国银联·云计算中心 UPDRDB存储引擎LAMOST研发负责人
嘉宾介绍:

数据库研发工程师,加入中国银联以来参与自研数据库中间件UPSQL-Proxy、自研分布式数据库UPDRDB的设计开发工作,对数据库中间件、分布式数据库、数据库存储引擎有较深入了解。现为云算中心UPSQL-Proxy核心开发成员、UPDRDB存储引擎LAMOST研发负责人,致力于打造金融行业领先的分布式数据库产品。



  • 13:30-14:10-林镇熙-工商银行核心应用MySQL治理实践(对外版).pdf

    2312KB
  • 14:10-14:50-刘伯宇-易鲸捷国产分布式数据库银行核心交易系统落地实践(对外版).pdf

    15723KB
  • 15:50-16:30-王磊_百亿级数据如何实现秒级复杂查询V4(对外版).pdf

    2522KB
  • 16:30-17:10-裴晨光--银联分布式存储引擎LAMOST(对外版).pdf

    3776KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

中国数据库技术大会(DTCC)
创建时间:2019-04-22 14:03:20
中国数据库技术大会(简称DTCC)是国内数据库及大数据领域专业的技术交流盛会。DTCC每年邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • DTCC官方账号
    栈主
  • ?
    嘉宾
  • 飘絮絮絮丶
    嘉宾

小栈成员

查看更多
  • 栈栈
  • 小雨滴
  • coolriver
  • 唐川ITPUB
戳我,来吐槽~