分享好友

×
取消 复制
Flink Forward Aisa 2019见闻
2020-05-18 17:35:11

11月28日至29日,Flink Forward Aisa 2019在北京国际会议中心举办,本次大会开设了企业实践专场、Apache 核心技术专场、开源大数据生态、实时数仓、人工智能,五大专场。


虽然今年改用售票方式,但会场依然爆满,充分体现了目前行业内对实时计算的重视。

因为Blink上的巨大投入,阿里云已经成为社区的重要推动者。有了强大金主的支持,Forward现场都散发着土豪的气息,PO张照片大家感受下。


大会重要内容发布和特点议题


一、回归Flink社区


阿里云在Flink的发展过程中始终表现出难能可贵的开放性。继2018年宣布将Blink(阿里的Flink分支)开源后,进而将Blink核心内容迁入Flink社区,真正与社区融为一体。相信这对所有开源社区小伙伴来说是个好消息。


二、惊艳的Stateful FaaS

在AWS等云厂商的推动下,Serverless概念逐步普及。因为被直译为“无服务器”,Serverless概念天然带有一些神秘色彩。其实Serverless依然是需要服务器端的,Ivan认为对Server更恰当的理解是业务逻辑所依赖的容器,包括应用服务器和操作系统等。


FaaS(Function as a Service)是实现Serverless的技术基础,是指直接部署函数,用户无需关心其承载容器,而全部由云厂商提供。FaaS可以很好地实现无状态服务,但真实业务中无法离开数据持久化。


基于Flink State实现的Stateful FaaS可以很好实现有状态服务,提供更强大的抽象能力,实现更多真实业务场景的构建。

相关主题演讲:

Stephan Ewen, Stateful Functions: Building general-purpose Applications and Services on Apache Flink

三、流批一体的稳定推进

流批一体是Flink的愿景,Flink1.10版本在架构层面做了更为彻底的改造,核心技术改进也围绕这一目标展开。Talk “New Flink source API”中,秦老师讲解了新版Source组件的设计思想和架构,新版替换了全新的线程模型,将更多的核心功能内化在抽象实现中,使拓展Source组件更加轻便、灵活。

特别要夸一下秦老师,讲解思路清晰,干货满满,概念铺陈有序,对Flink初学者非常友好。

相关主题演讲:

秦江杰, New Flink source API: Make it easy

四、缺少灵魂的实时数仓

实时数仓是一个非常吸引人的概念,至少在字面上这是一个鱼与熊掌兼顾的好事情。但深入到具体的实践中,我们能看到的是为实时性的数据加工提供一个框架或工作平台,以满足大规模开发的需求。


这次的案例中虽然有一些层次的划分,但还远不能称之为企业级数据模型。在实时数仓建设上,还有更多的工作,需要付出更多的努力。

相关主题演讲:

鲁昊, 美团点评基于 Apache Flink 的实时数仓平台实践


未来的数据处理一定是以随时随地的计算,相信Flink未来会有广阔的发展空间。


分享好友

分享这个小栈给你的朋友们,一起进步吧。

盗火的普罗米修斯
创建时间:2020-05-18 16:41:22
立足金融场景,聚焦于数据技术的普及和引导,以中立者身份对各项技术进行分析和横向比较。这里所指的数据技术包括数据分析和联机事务处理两个大的方向,涉及大数据、分布式等领域。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • 金融数士
    栈主

小栈成员

查看更多
  • ☀️
  • chenglinjava0501
戳我,来吐槽~