11月28日至29日,Flink Forward Aisa 2019在北京国际会议中心举办,本次大会开设了企业实践专场、Apache 核心技术专场、开源大数据生态、实时数仓、人工智能,五大专场。
虽然今年改用售票方式,但会场依然爆满,充分体现了目前行业内对实时计算的重视。
因为Blink上的巨大投入,阿里云已经成为社区的重要推动者。有了强大金主的支持,Forward现场都散发着土豪的气息,PO张照片大家感受下。
大会重要内容发布和特点议题
一、回归Flink社区
阿里云在Flink的发展过程中始终表现出难能可贵的开放性。继2018年宣布将Blink(阿里的Flink分支)开源后,进而将Blink核心内容迁入Flink社区,真正与社区融为一体。相信这对所有开源社区小伙伴来说是个好消息。
二、惊艳的Stateful FaaS
在AWS等云厂商的推动下,Serverless概念逐步普及。因为被直译为“无服务器”,Serverless概念天然带有一些神秘色彩。其实Serverless依然是需要服务器端的,Ivan认为对Server更恰当的理解是业务逻辑所依赖的容器,包括应用服务器和操作系统等。
FaaS(Function as a Service)是实现Serverless的技术基础,是指直接部署函数,用户无需关心其承载容器,而全部由云厂商提供。FaaS可以很好地实现无状态服务,但真实业务中无法离开数据持久化。
基于Flink State实现的Stateful FaaS可以很好实现有状态服务,提供更强大的抽象能力,实现更多真实业务场景的构建。
相关主题演讲:
Stephan Ewen, Stateful Functions: Building general-purpose Applications and Services on Apache Flink
三、流批一体的稳定推进
流批一体是Flink的愿景,Flink1.10版本在架构层面做了更为彻底的改造,核心技术改进也围绕这一目标展开。Talk “New Flink source API”中,秦老师讲解了新版Source组件的设计思想和架构,新版替换了全新的线程模型,将更多的核心功能内化在抽象实现中,使拓展Source组件更加轻便、灵活。
特别要夸一下秦老师,讲解思路清晰,干货满满,概念铺陈有序,对Flink初学者非常友好。
相关主题演讲:
秦江杰, New Flink source API: Make it easy
四、缺少灵魂的实时数仓
实时数仓是一个非常吸引人的概念,至少在字面上这是一个鱼与熊掌兼顾的好事情。但深入到具体的实践中,我们能看到的是为实时性的数据加工提供一个框架或工作平台,以满足大规模开发的需求。
这次的案例中虽然有一些层次的划分,但还远不能称之为企业级数据模型。在实时数仓建设上,还有更多的工作,需要付出更多的努力。
相关主题演讲:
鲁昊, 美团点评基于 Apache Flink 的实时数仓平台实践
未来的数据处理一定是以随时随地的计算,相信Flink未来会有广阔的发展空间。