绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
2022SACC专场4-大数据架构应用设计与实践(PPT下载)
2022-11-10 13:44:20

基于阿里云实时计算Flink构建现代化数据流

演讲简介:

在现代企业发展中,时间就是金钱,数据就是生命,如何高效稳定的进行实时数据分析处理,是摆在各行各业的一个重要问题,本次演讲的主要内容就是围绕阿里云实时计算Flink版,讨论阿里云是如何在云上基于 Apache Flink帮助用户构建企业级、高性能实时大数据处理系统,助力企业向实时化、智能化大数据计算升级转型。

分享大纲:

1、什么是数据流

2、现代数据流趋势

3、现代数据流特性总结

4、阿里云Flink现代数据流佳实践


嘉宾介绍:

黄鹏程,阿里云计算平台平台型产品专家,阿里云实时计算Flink版产品负责人,曾任阿里云内存数据库Tair/Redis产品负责人,8年大数据平台技术架构和团队管理经验,3年云产品设计规划经验,《数据库系统内幕》《Presto实战》《图解流计算》译者,《Redis 4.x cookbook》英文原著作者。


同程湖仓一体应用与实践

演讲简介:

为了解决数仓存在的一些问题比如:数仓的实时性,资源消耗,更新需求日益变多,我们跟进业界步伐实践了从数仓到湖仓的转变。目前我们将大多数hive表改造湖仓表,替换内部数仓base层hive表为hudi表,时效性由T+1降低为分钟级延迟,同时基于hudi实现了流式宽表,实时join等场景的落地,为业务降低了大量计算资源的使用。

本次分享,湖仓架构的演进实践。分享内容包括:数仓架构和规模,碰到过什么问题、数据湖与数仓的区别,为什么选择hudi、湖仓架构在同程旅行的实践过程,架构演进思路是什么、湖仓实践过程中的问题等。同时,对湖仓技术方案未来发展、实践经验与思考等内容。

演讲内容重点提纲:

1. 同程旅行数仓架构和规模,碰到过什么问题

(⽐如数仓离线计算资源消耗,实时性要求,更新语义等)

2. 数据湖与数仓的区别,为什么选择hudi

(⽐如与iceberg的比较,hudi的优势)

3. 湖仓架构在同程旅行的实践过程,架构演进思路是什么

(⽐如 元数据的统一管理,元数据复用,数据集成架构演进)

4. 实践过程中的问题

比如 数据重复,数据丢失,写入性能,怎么解决的这些问题)

5. 未来规划与思考


嘉宾介绍:

吴祥平 同程旅行 大数据技术专家

现任同程旅行数据中心计算集群研发组技术负责人。2012年毕业于浙江海洋大学, 热爱Coding、热爱开源, 是flink、hudi开源社区贡献者。


快手大数据开发平台建设实践与演进之路

演讲简介:

近年来随着快手业务的高速发展,越来越多不同角色的用户开始有数据开发的场景。如何低门槛满足产品、技术、运营、数据工程师等不同角色用户的开发需求;面对超过 EB级别数据量 和 日均百万级的作业数,如何能够降低任务运维成本,在资源有限的情况下保证数据准时产出。

本次分享将介绍,面对这些挑战快手大数据开发平台的建设思路、发展历程。主要包括快手大数据开发平台的整体架构、核心能力与技术,以及在面向特定数据开发场景下的低门槛开发实践。

本次分享大纲为:

1. 快手大数据开发平台背景介绍

挑战

发展历程

2. 快手大数据开发平台整体方案

整体架构

核心能力与技术

佳实践 - 面向场景的低门槛数据开发

3. 未来规划与展望


嘉宾介绍:

韩江,快手大数据开发平台技术负责人,现在负责公司一站式大数据开发平台的建设和团队管理。曾就职于百度,6年以上大数据开发和平台建设经验,主要研究方向是大数据治理、大数据平台产品和系统架构等,在以上领域具备大规模的落地实践经验。


从 Apache Doris 到 SelectDB Cloud:下一代云原生实时数仓的架构演进之路

演讲简介:

随着数字化时代的发展,数据规模呈爆发式增长、数据类型变得更加复杂多样、数据时效的重要性愈加受到重视,这使得实时数仓技术正在发生着变革,而云原生时代的到来也对实时数仓带来了新的挑战。在这样的背景下,Apache Doris 作为国内应用为广泛的开源实时数仓之一,未来将有着怎样的发展趋势,该如何结合云上基础设施去构建具备普适性的数据分析平台,去满足面向未来的数据分析需求?

在本次分享中,来自 SelectDB 的杨勇强老师将为大家带来分享,从 Apache Doris 到 SelectDB Cloud 的下一代云原生实时数仓的架构演进之路。

演讲提纲:

1. Apache Doris 基本介绍与技术特性

2. 云原生时代数据分析需求的诉求与变化

3. 从 Apache Doris 到 SelectDB Cloud,下一代云原生实时数仓的架构演进

4. 基于 SelectDB Cloud 构建全新数据架构对业务带来的收益

5. 未来技术趋势与展望


嘉宾介绍:

杨勇强,SelectDB 联合创始人兼产品 VP、Apache Doris Committer,曾担任百度智能云存储部总架构师,主导构建了云存储技术产品体系。

  • 快手大数据开发平台建设实践与演进之路 - 终稿.pdf

    2535KB
  • 从 Apache Doris 到 SelectDB Cloud:下一代云原生实时数仓的架构演进之路_杨勇强_3.4.pdf

    3027KB
  • 同程湖仓一体应用与实践-吴祥平.pdf

    5560KB
  • 阿里云实时计算Flink 现代化实时数据流实践.pdf

    5835KB
分享好友

分享这个小栈给你的朋友们,一起进步吧。

SACC中国系统架构师大会
创建时间:2019-06-18 13:57:01
中国系统架构师大会每年都将邀请百余位行业专家,就热点技术话题进行分享,为数据库人群、大数据从业人员、广大互联网人士及行业相关人士提供具价值的交流平台。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • SACC官方账户
    栈主
  • gaokeke123
    嘉宾

小栈成员

查看更多
  • 小雨滴
  • 栈栈
  • 老七
  • 韩涵
戳我,来吐槽~