绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2019DTCC大会 专场7 数据架构设计实践(上) PPT
2019-12-14 10:18:40

海量数据,超大并发,数据库无损扩容四种实践

演讲简介:

海量数据,超大并发下,水平切分是常见的提升数据库存储容量的架构实践。但随着数据量的持续增加,如何对水平切分的数据库进行再次扩容,如何在扩容的过程提供无损服务,如何进行平滑数据迁移,是大家经常面临的问题。本次分享,将分享四类常见实践,以解决上述问题。

沈剑 快狗打车(原58速运) CTO

嘉宾介绍:

互联网架构技术专家,快狗打车 CTO,“架构师之路”公众号作者;曾任百度高级工程师,58同城技术委员会主席,58到家技术委员会主席;现任快狗打车 CTO,负责快狗打车技术体系的搭建;本质,技术人一枚。


CynosDB for PostgreSQL 一主多读架构

演讲简介:

PostgreSQL 数据库通过数据冗余和日志同步实现一主多读,并允许备机在主机不可用后,替换主机继续对外提供服务,保证系统的可用性。在 CynosDB 的计算-存储分离架构里,数据库实例共享同一份数据,而且一主多读的设计与传统数据库相比也有很大差异。在本次议题中,将会与大家分享 CynosDB for PostgreSQL 的一主多读的设计和优化。

孙旭 腾讯云 高级工程师

嘉宾介绍:

腾讯云高级工程师,9年数据库内核开发经验;熟悉数据库查询处理,并发控制,日志以及存储系统;熟悉 PostgreSQL(Greenplum,PGXC 等)、Teradata 等数据库内核实现机制。


基于 Flink 的异构海量数据源传输系统

演讲简介:

异构数据源之间的相互传输同步是公司大数据平台里常见的问题,当数据源类型繁多并且数据量巨大时便会成为比较大的挑战。本次演讲主要分享字节跳动基于Flink的异构海量数据源传输解决方案,实现对多种数据源间高性能并发的稳定传输,以及对 Flink Batch 框架的优化。

罗齐 字节跳动 高级大数据平台工程师

嘉宾介绍:

现任字节跳动高级大数据平台工程师,曾任职于亚马逊全球供应链部门负责数据平台开发;擅长大规模数据处理和传输平台的搭建,对大数据处理和存储技术有深入研究。


滴滴离线大数据实践之路

演讲简介:

面对海量数据的日益增长,存储和计算都会遇到一些瓶颈,例如 NameNode 单点问题,数据存储的治理问题等等。在滴滴的离线场景中,存储使用 HDFS,计算使用 MR、HIVE、SPARK,本次分享将介绍滴滴离线大数据从存储到计算的架构,针对这些问题滴滴是如何思考和解决的。

费辉 滴滴出行 大数据架构技术专家

嘉宾介绍:

滴滴出行大数据架构技术专家,负责离线存储;在加入滴滴之前,曾在阿里巴巴参与过 JVM 和 EMR 产品的开发;开源大数据爱好者,积极参与社区的交流讨论。


美团万亿级数据采集系统架构实践

演讲简介:

美团作为中国领先的生活服务电子电商平台,具有业务场景丰富、业务复杂度高、数据规模大等特点,对数据采集提出了非常高的要求。演讲主要介绍美团数据采集系统的架构演进,包括公司级统一的日志规范和日志组件,多机房多地域带来的架构挑战,全链路数据质量监控,通道的隔离机制,海量数据消费需求的支撑等。

杨永辉 美团 高级技术专家

嘉宾介绍:

美团高级技术专家,硕士毕业于中科院自动化所,曾就职于阿里巴巴;现在美团基础数据部,负责美团数据收集通道建设,旨在为公司提供高效、可靠、易用的数据收集、分发服务。

  • 13:30 - 14:10 沈剑_海量数据,超大并发,数据库无损扩容四种实践.pdf

    1622KB
  • 14:10 - 14:50 孙旭_CynosDB for PostgreSQL 一主多读架.pdf

    3492KB
  • 15:50 - 16:30 费辉_DTCC2019滴滴离线大数据实践之路.pdf

    5115KB
  • 14:50 - 15:30 罗齐_基于Flink的异构海量数据源传输系统.pdf

    5421KB
  • 16:30 - 17:10 杨永辉_美团万亿级数据通道架构实践.pdf

    10024KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

中国数据库技术大会(DTCC)
创建时间:2019-04-22 14:03:20
中国数据库技术大会(简称DTCC)是国内数据库及大数据领域专业的技术交流盛会。DTCC每年邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供最具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • DTCC官方账号
    栈主
  • ☀️
    嘉宾
  • 飘絮絮絮丶
    嘉宾

小栈成员

查看更多
  • 栈栈
  • 小雨滴
  • coolriver
  • 唐川ITPUB
戳我,来吐槽~