基于阿里云实时计算Flink构建现代化数据流
演讲简介:
在现代企业发展中,时间就是金钱,数据就是生命,如何高效稳定的进行实时数据分析处理,是摆在各行各业的一个重要问题,本次演讲的主要内容就是围绕阿里云实时计算Flink版,讨论阿里云是如何在云上基于 Apache Flink帮助用户构建企业级、高性能实时大数据处理系统,助力企业向实时化、智能化大数据计算升级转型。
分享大纲:
1、什么是数据流
2、现代数据流趋势
3、现代数据流特性总结
4、阿里云Flink现代数据流佳实践
嘉宾介绍:
黄鹏程,阿里云计算平台平台型产品专家,阿里云实时计算Flink版产品负责人,曾任阿里云内存数据库Tair/Redis产品负责人,8年大数据平台技术架构和团队管理经验,3年云产品设计规划经验,《数据库系统内幕》《Presto实战》《图解流计算》译者,《Redis 4.x cookbook》英文原著作者。
同程湖仓一体应用与实践
演讲简介:
为了解决数仓存在的一些问题比如:数仓的实时性,资源消耗,更新需求日益变多,我们跟进业界步伐实践了从数仓到湖仓的转变。目前我们将大多数hive表改造湖仓表,替换内部数仓base层hive表为hudi表,时效性由T+1降低为分钟级延迟,同时基于hudi实现了流式宽表,实时join等场景的落地,为业务降低了大量计算资源的使用。
本次分享,湖仓架构的演进实践。分享内容包括:数仓架构和规模,碰到过什么问题、数据湖与数仓的区别,为什么选择hudi、湖仓架构在同程旅行的实践过程,架构演进思路是什么、湖仓实践过程中的问题等。同时,对湖仓技术方案未来发展、实践经验与思考等内容。
演讲内容重点提纲:
1. 同程旅行数仓架构和规模,碰到过什么问题
(⽐如数仓离线计算资源消耗,实时性要求,更新语义等)
2. 数据湖与数仓的区别,为什么选择hudi
(⽐如与iceberg的比较,hudi的优势)
3. 湖仓架构在同程旅行的实践过程,架构演进思路是什么
(⽐如 元数据的统一管理,元数据复用,数据集成架构演进)
4. 实践过程中的问题
比如 数据重复,数据丢失,写入性能,怎么解决的这些问题)
5. 未来规划与思考
嘉宾介绍:
吴祥平 同程旅行 大数据技术专家
现任同程旅行数据中心计算集群研发组技术负责人。2012年毕业于浙江海洋大学, 热爱Coding、热爱开源, 是flink、hudi开源社区贡献者。
快手大数据开发平台建设实践与演进之路
演讲简介:
近年来随着快手业务的高速发展,越来越多不同角色的用户开始有数据开发的场景。如何低门槛满足产品、技术、运营、数据工程师等不同角色用户的开发需求;面对超过 EB级别数据量 和 日均百万级的作业数,如何能够降低任务运维成本,在资源有限的情况下保证数据准时产出。
本次分享将介绍,面对这些挑战快手大数据开发平台的建设思路、发展历程。主要包括快手大数据开发平台的整体架构、核心能力与技术,以及在面向特定数据开发场景下的低门槛开发实践。
本次分享大纲为:
1. 快手大数据开发平台背景介绍
挑战
发展历程
2. 快手大数据开发平台整体方案
整体架构
核心能力与技术
佳实践 - 面向场景的低门槛数据开发
3. 未来规划与展望
嘉宾介绍:
韩江,快手大数据开发平台技术负责人,现在负责公司一站式大数据开发平台的建设和团队管理。曾就职于百度,6年以上大数据开发和平台建设经验,主要研究方向是大数据治理、大数据平台产品和系统架构等,在以上领域具备大规模的落地实践经验。
从 Apache Doris 到 SelectDB Cloud:下一代云原生实时数仓的架构演进之路
演讲简介:
随着数字化时代的发展,数据规模呈爆发式增长、数据类型变得更加复杂多样、数据时效的重要性愈加受到重视,这使得实时数仓技术正在发生着变革,而云原生时代的到来也对实时数仓带来了新的挑战。在这样的背景下,Apache Doris 作为国内应用为广泛的开源实时数仓之一,未来将有着怎样的发展趋势,该如何结合云上基础设施去构建具备普适性的数据分析平台,去满足面向未来的数据分析需求?
在本次分享中,来自 SelectDB 的杨勇强老师将为大家带来分享,从 Apache Doris 到 SelectDB Cloud 的下一代云原生实时数仓的架构演进之路。
演讲提纲:
1. Apache Doris 基本介绍与技术特性
2. 云原生时代数据分析需求的诉求与变化
3. 从 Apache Doris 到 SelectDB Cloud,下一代云原生实时数仓的架构演进
4. 基于 SelectDB Cloud 构建全新数据架构对业务带来的收益
5. 未来技术趋势与展望
嘉宾介绍:
杨勇强,SelectDB 联合创始人兼产品 VP、Apache Doris Committer,曾担任百度智能云存储部总架构师,主导构建了云存储技术产品体系。