本次主题涵盖iceberg 湖仓一体项目在B站的落地实践,Iceberg 湖仓一体的内核优化,智能化管理平台的背景、意义与实践,以及未来展望。
大纲及要点:
1.湖仓一体项目在 B 站的落地实践
2.Iceberg 湖仓一体的内核优化
基于ZOrder 的数据重新组织优化
Bitmap & Bloomfilter 索引的支持
预计算的支持
星型模型的优化
3.智能化管理平台
智能化管理平台的背景与意义
智能化管理平台的实践
自动数据的组织优化、索引、cube 构建
智能查询分析,模式推荐
全局优化详情视图
4.未来规划
十年+软件行业从业经验,四年+ 大数据 OLAP 方向研发经验,先后在唯品会、B 站从事大数据 OLAP 方向的研发工作,目前主要负责B站OLAP平台,湖仓一体方向:Iceberg 内核研发、优化探索实践,智能化管理平台搭建、以及业务接入支持等相关工作。
基于Apache Doris大数据实时MPP数据库,构建新一代云原生实时数仓,充分发挥Apache Doris高性能、易用MPP引擎能力和云计算弹性,解决海量日志等半结构化、非结构化数据存储成本高、分析困难的痛点。
2009年至2012年在百度从事Hadoop平台研究与建设,2012开始先后在360、奇安信负责大数据平台,
研发基于MPP架构的安全大数据引擎,构建全球大的网络安全大数据。经历了Hadoop、Spark、MPP等几代大数据技术升级,多次担任QCon、DTCC大会出品人;2022年联合创立SelectDB,致力于研发新一代云原生实时数仓。
快狗打车业务快速发展,是公司众多人员的努力,同时对数据侧提出了更高的要求。数据的价值随着时间的增加而降低,分析以及运营更加希望实时数据助力业务发展,研发也希望借助BI侧的大数据综合计算能力得到汇总数据。在这样的基础上,快狗打车实时数据仓库历经两次迭代,从Spark计算引擎到阿里云Blink+Flink,从Hbase存储到目前多样式OLAP系统使用。本次演讲将带来快狗打车实时仓库的发展和实践
演讲内容重点提纲:
1. 快狗打车实时仓库1.0和2.0架构,以及技术方案和挑战
2. 快狗打车实时仓库的监控,安全,快速持续性建设方案
3. 快狗打车实时仓库的应用场景,助力线上服务、业务运营。
(实时指标建设,线上服务,OLAP应用等等)
4. 未来流批一体的探索
2019年加入快狗打车,负责实时数据仓库整体架构。毕业于山东理工大学,在离线和实时数据仓库有丰富经验,热爱分布式相关技术,在OLAP,Flink,Spark等技术有较深理解。
在全球企业信息化的今天,数据量过大、单机能力不足的问题日益严峻。为此,我们研发了 Databend,一款用 Rust 从 0 到 1 实现的云原生数仓。其借助 K8S 可以轻松实现弹性扩容的高性能计算集群,具有存算分离、拓展方便的特点;底层存储支持兼容 S3 协议的对象存储,如:AWS S3、腾讯 COS、阿里 OSS、MinIO 等,能够实现海量吞吐;从设计上支持半结构化数据,有助于进一步释放更多数据潜能。
在近些年常见的 OLAP 解决方案中,以速度取胜的 Clickhouse 和实现存算分离、按需付费的云原生数仓 Snowflake 都属于当红产品。本次分享将会分别针对「Clickhouse 如何实现实时计算、达成高性能」以及「Snowflake 如何实现存算分离」做一个探讨,同时也会对「为什么 Clikhouse 和 Snowflake 无法同时兼具对方优点」做一个分析。后会为大家讲述 Databend 是如何实现一个兼具二者所长、高性能、存算分离、按需分配的数仓。
在本次分享中将会带领大家更清晰的认识 Databend 的云原生架构以及开源现状和未来规划,同时会帮助大家学习使用 Databend 。
演讲内容重点提纲:
1. ClickHouse 如何做到在线实时分析
2. Snowflake 为什么要存储、计算分离
3. ClickHouse + Snowflake 两者能不能融合,有哪些挑战?
4. Databend 如何做到两者优势兼顾,定义新一代 Cloud Data Warehouse
5. Databend 开源现状和未来规划
Datafuse Labs 联合创始人 ,前阿里云数据库内核组早期成员、前青云数据库团队负责人。 开源 Databend 项目主要负责人。
Arctic 是网易自研的基于 Apache Iceberg 的湖仓一体管理系统,网易通过 Apache Flink 和 Arctic 构建流批一体的数据生产链路,实时离线统一的数仓。在 Iceberg 基础之上,Arctic 具有支持主键数据约束,结构自优化,数据一致性,实时订阅和实时Join等特性,本次分享将介绍 Arctic 的核心设计思路与实践心得。
分享大纲:
1.网易数据开发现状与痛点
2.基于Iceberg的湖仓一体系统——Arctic
3.Arctic的核心技术
4.案例与成果
5.未来规划
分享要点:随着大数据实时划进程得不断推进,实时与离线在开发链路与数据存储上割裂的问题逐渐暴露出来,这不仅造成了实时与离线在开发人员与存储成本上的双倍投入,还造成了实时与离线指标不统一的问题。业界新的湖仓一体架构旨在统一实时与离线的数据存储,并进一步解决实时与离线割裂的问题。网易基于Apache Iceberg,在之上构建了一套湖仓一体系统——Arctic,它在廉价的数据湖之上统一了流批存储,并提供了键数据约束,结构自优化,数据一致性,实时订阅和实时Join等特性。本次分享将带来网易基于Arctic在湖仓一体架构下的技术探索与实践心得。
周劲松,网易平台研发专家,从事大数据与数据库方向开发工作7年,曾负责网易分布式数据库与数据传输系统的研发工作,目前作为Arctic流批一体数据湖的项目负责人,在构建数据基础设施方面有着充分的开发与实践经验。