本次演讲将主要介绍Amazon Redshift的10年的技术演进,新的Redshift Serverless架构、应用场景和佳实践,同时也会介绍Redshift在实时数仓方向上的新更新。分享提纲:
1.Amazon Redshift 10年技术创新与演进
2.Amazon Redshift Serverless架构设计与应用场景
3.基于Amazon Redshift的云原生实时数仓佳实践
亚马逊云科技数据分析产品技术专家,负责亚马逊数据分析产品的技术解决方案工作。在大数据存储、OLAP、离线、实时时数据分析、用户画像及推荐系统等技术有深入的研究,对企业大数据平台构建有丰富的实战经验。
现代的数据分析需求已经远远超出传统BI的范畴,湖仓一体、数智融合成为了现代数据栈的发展趋势。
华为云GaussDB(DWS) 3.0是新一代云原生架构数据仓库,将高并发、高性能、交互式的查询体验带入湖仓融合的数据栈,GaussDB(DWS)使能数据生产线与AI生产线的无缝高效配合,具有云化架构的资源池化存算分离,与云深度结合和优化的显著特点。
本次分享将简要概述华为云数仓技术架构,着重介绍华为云GaussDB(DWS)在打通湖与仓的生态、融合数与智等方面的关键特性。
王传廷,华为云数据仓库技术专家,具有10年+数据库内核开发经验。
湖仓一体是目前比较火热的方向,主要解决成本问题和减少ETL,同时可以提升数据端到端可见性。本次演讲主要介绍DLink 实时湖仓引擎的架构设计和核心功能实现介绍以及DLink 在客户侧的落地实践案例和未来规划。
分享提纲:
1、DLink 架构介绍
2、DLink 核心功能
3、DLink 落地实践
4、DLink 未来规划
冯森,滴普科技FastData产品线DLink产品研发负责人,目前负责FastData DLink实时湖仓引擎产品研发工作。曾就职于网易MySQL数据库内核研发团队,有近10年数据库内核研发经验。
阿里云在2020年国内发布湖仓一体平台建设方案,目前已经有业界领先的技术架构实践和产品形态落地。本演讲主要介绍阿里云如何基于数据湖构建(Data Lake Formation)实现湖仓一体的解决方案。一方面会介绍阿里云通过统一元数据实现的数据湖和数仓引擎的元数据和权限互通,另一方面会从平台架构的角度介绍如何将Deltalake等湖格式相关技术融合到现有Data Lake平台中,并通过数据湖湖管理等功能,实现数据湖上构建Lakehouse的目标。
毕业于南京大学软件学院。就职于阿里云开源大数据部门,负责数据湖构建与分析平台研发。
数据实时化是数仓建设的趋势,相对于离线数仓,实时数仓能够给管理者、业务分析人员提供反应业务变化的实时数据,监控收入等关键指标的波动,及时根据市场热点变化调整运营策略,通过实时算法决策,提供更加满足用户需要的服务。本次分享的实时数仓建设实践,主要包括:
1、互联网广告业务介绍;
2、实时数仓模型、指标的建设规范;
3、实时数仓开发技术;
4、全链路的质量保障方案;
5、实时数据在广告场景下的应用。
专注于数据仓库、数据治理等领域,曾就职于腾讯、美团等广告数据开发团队。2020年入职美团,致力于广告数据开发和团队管理工作,通过数据促进广告业务目标的达成。