当前在很多企业中,建设数据平台,有较多的痛点,如数据平台建设慢、数据任务类型多、数据开发协同难、数据安全风险高、数据管理无体系、数据质量优化难、数据模型优化难、数据运营监控难、数据安全共享难等。滴普FastData DataFacts面向PB级实时/离线数据开发、运维场景,提供集数据建模、数据集成、数据开发、数据服务等能力于一体的一站式数据开发平台,屏蔽复杂的技术环节,在保证数据安全底线的基础上,让数据开发工程师专注于面向业务需求的数据开发,实现易用、便捷、安全的高质量数据生产能力;同时面向企业数据资源散、乱、差等问题,通过数据标准及规范、数据建模、数据质量、数据资源管理、及数据安全等能力,对企业数据资源进行统一的管理及与运营,提升数据质量和运营效率,让数据可用、好用、易用。本次分享将介绍FastData DataFacts的架构设计与建设数据平台案例实践。
分享提纲:
1、DataFacts架构概述
2、DataFacts功能介绍
3、DataFacts开发流程
4、数据平台案例实践
刘波,滴普科技FastData产品线DataFacts产品负责人,从事大数据开发10年+,在滴普科技负责20+个数据项目的架构设计与落地,先后主导了TOP级新零售企业的数据智能平台与互联网医疗企业的数据湖建设,近1年负责一站式数据智能开发平台的研发工作,沉淀DataOps核心理念,并聚焦于湖仓一体和流批一体的架构设计及实践。
传统商业银行的核心通常采用集中式数据库,存在横向扩展能力差,无法满足商业银行自主掌控要求,因此商业银行纷纷走上了从集中式到分布式数据库转型之类。本演讲将聚焦某商业银行核心系统从集中式到分布式下移佳实践,分享预研与规划、设计与开发、测试、生产切换共四个阶段需要重点关注的内容,以及完成下移后如何建立分布式运维体系、如何实现DBA技能转型等话题。
演讲内容重点提纲:
1. 商业银行核心数据库现状
(例如采用IBM Db2、Oracle等集中式商业数据库)
2. 为什么要从集中式数据库下移到分布式数据库,所面临的挑战是什么?
(例如稳定性要求、应用兼容性要求等)
3. 下移到分布式数据库的四个阶段,每个阶段的注意事项
4. 如何建立分布式运维体系
(例如监控、巡检、应急、变更等)
5. 如何实现DBA技能转型
(例如DBA原先掌握IBM Db2、Oracle运维技能,如何转型到熟练使用GoldenDB、蚂蚁OceanBase等分布式数据库新技能)
6. 未来规划与思考
2005年硕士毕业于北京邮电大学计算机学院,随后加入IBM中国开发实验室,从事Db2数据库研发工作。2014年加入中信银行数据中心,带领技术团队承担全行的数据库运维管理职责。在中信银行工作期间,获得了中国人民大学工商管理硕士学位,荣获“凌云工程”二等功。作为技术专家,曾出版《商业银行数据库管理实践》等数据库专著5部,拥有软件专利3项,并发表技术论文多篇。