专场12:数据架构设计实践(下)

2019.05.15 14:43
1. 爱奇艺实时数据传输服务 DBIO 架构设计与实践
演讲简介:

数据库间实时数据传输服务可简化业务系统的数据架构,使其专注于业务开发。DBIO 是爱奇艺研发的数据库间实时数据传输服务,用于同异构数据库间实时复制与数据变更捕获,是业务系统数据共享的核心通道。本议题将介绍 DBIO 的设计与实现,重点分享在源和目标端故障时如何保证服务高可用、如何优雅的支持多种源与目标端系统以及如何高效运维等方案。同时,也将介绍 DBIO 在数据变更订阅、异地多活、数据归档等应用案例。

郭磊涛 爱奇艺 数据库服务负责人
嘉宾介绍:

爱奇艺数据库服务负责人;2007年博士毕业于中国科技大学,进入中国移动研究院负责大数据平台的建设,2014年加入爱奇艺负责数据库内核、中间件及运维系统的研发,热衷于 Hadoop 生态系统优化和数据库高效运维架构。


2. 万亿级大数据平台的建设实践
演讲简介:

实时数据分析的重要性日益增长。本次分享以一个国家级大数据平台建设为例,介绍百分点的超大规模实时数据分析典型架构和实战经验。在该案例中,我们搭建了以 Kafka、Spark Streaming、ClickHouse、HBase、Ceph 和 ES 为基础的大数据平台,承载了万亿级数据的存储、处理和应用,平台支持了线上2000+亿/天,峰值500+万/秒的数据处理能力,同时平台在实时性、稳定性、异构存储能力方面也表现优异。本次分享介绍平台的设计理念、关键挑战、架构选型和技术实践,例如为何选用 Spark Streaming 流处理框架,如何结合 Spark Streaming 的特点实现数据处理的流量控制、资源配额,如何保障多中心核心存储 ClickHouse 的稳定等等。内容包括:
1、万亿级实时数据分析面临的问题和挑战;
2、百分点超大规模实时数据分析典型架构;
3、如何基于业务场景进行组件评测和选型;
4、数据平台的持续运维与监控设计和实现。

赵群 百分点 研发总监,大数据平台技术负责人
嘉宾介绍:

2015年加入百分点,主导并负责大数据操作系统 BD-OS、数据开放服务平台、机器学习平台等多款产品的架构设计和研发;曾就职于搜狐和宜搜,从事核心架构研发工作,专注于搜索引擎、大数据、复杂业务系统的微服务架构设计,负责过新闻、小说、图片、游戏等多个垂直搜索产品的架构设计与引擎研发。

3. 新浪微博实时数据分析服务的构架与实践
演讲简介:

微博每天会产生海量的日志数据,业务方对数据质量和实时要求越来越高,所以我们基于 Spark、Flink 等开源框架开发出实时数据分析服务。本分享介绍实时数据分析服务的架构设计、生态建设和实践经验。

李洪勋 微博 高级研发工程师
嘉宾介绍:

新浪微博研发中心高级研发工程师,一直从事分布式计算、高可用、大数据计算和分析工作,曾负责微博评论物料推荐和 CDN 数据多维度分析,现负责微博每秒千万级服务类数据的实时计算和数据分析,包括用户行为、视频播放行为等。

4. 去哪儿网 MySQL 架构演变
演讲简介:

在 MySQL 集群化、云服务化日益普遍的今天,数据一致性是其中必须要解决的头等大事。本主题主要是从 galera 的一致性设计方案、性能影响、冲突验证等方面来讲述它是如何彻底解决 MySQL 的一致性问题的,而如果所有问题都搬到了分布式场景中,这些问题又该如何解决呢?

王竹峰 去哪儿网 数据库总监
嘉宾介绍:

去哪儿网数据库总监,擅长数据库开发、数据库管理及维护,一直致力于 MySQL 数据库源码的研究与探索,对数据库原理及实现有深刻的理解。曾就职于达梦数据库,从事多年数据库内核开发工作,后转战人人网,任职高级数据库工程师,目前在去哪儿网负责 MySQL 源码研究与运维、数据库管理和自动化运维平台设计开发及实践工作,是 Inception 开源项目及《MySQL 运维内参》的作者,也是国内少数几个 MySQL 方向的 Oracle ACE 之一。

5. PostgreSQL 在 5G 网管中的应用
演讲简介:

2019年是中国 5G 试商用元年,各运营商将陆续开始进行5G实验局测试。5G 接入网和核心网包含大量的网元设备,网管系统需要对这些设备进行管理,中兴通讯 5G 网管系统UME采用 PostgreSQL 存储这些海量运维管理数据,包括配置数据、告警信息、设备状态等。UME 基于云平台架构实现,这就要求 PostgreSQL 数据库支持云原生部署方式,并在云环境中提供高可用性,在实现过程中需要解决诸如节点漂移、数据不一致等难题。其次,由于网管业务应用场景复杂多样,既包括在线交易类场景(OLTP),又包括统计分析类场景(OLAP),在满负荷情况下,这2种场景对 CPU、IO、内存等资源均有较大消耗,因此,如果全部读写请求都路由到 Master 节点,会导致它难以承受。此时是否可以考虑把相对空闲的 Slave 节点充分利用起来,让它承担一些只读事务呢?读写分离可以较好地解决这个问题,为此我将分享我们在这方面的一些实践经验和得失。此外,5G 网络对可靠性具有非常高的要求,必须保证在主站点发生各种安全事故情况下能够快速切换到备站点,并保证数据完整可用,这要求 PostgreSQL 数据库支持异地容灾特性,我将与大家一起探讨两地三中心方案的实现机制及其关键技术点。

陈河堆 中兴通讯 数据库平台负责人
嘉宾介绍:

中兴通讯数据库平台负责人,PostgreSQL 中文社区委员,从事数据库研发设计工作十几年,先后参与公司自研高性能内存数据库、NoSQL 分布式数据库、金融级分布式关系数据库、分布式缓存等系统的设计和开发工作,对开源数据库 PostgreSQL 和 MySQL 有一定的研究和维护经验。



09:00 - 09:40 郭磊涛_爱奇艺实时数据传输服务DBIO架构设计与实践.pdf

2.15MB

09:40 - 10:20 赵群_万亿级大数据平台的建设实践.pdf

2.72MB

10:20 - 11:00 李洪勋_新浪微博实时数据分析服务的构架与实践.pdf

3.41MB

11:00 - 11:40 王竹峰_去哪儿网 MySQL 架构演变.pdf

8.43MB

11:40 - 12:20 陈河堆_PostgreSQL在5G网管中的应用.pdf

11.3MB

2
0
评论
0
中国数据库技术大会(DTCC) 栈主:DTCC官方账号 创建时间:2019.04.22

中国数据库技术大会(简称DTCC)是国内数据库及大数据领域专业的技术交流盛会。DTCC每年邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。

查看详情

专家推荐

活跃小栈推荐